Confiar demais na IA: a lição do Pentágono para o seu SaaS

Sabe aquele relatório que a IA gerou, que você bateu o olho, achou bonito e mandou pro cliente sem conferir? Pois é. Confiar demais na IA é um hábito que começa pequeno e cresce sem ninguém perceber. Esta semana apareceu o exemplo mais pesado que dá para imaginar.

Segundo reportagem da Bloomberg, o Pentágono reconheceu que a dependência excessiva de inteligência artificial contribuiu para um ataque com míssil que atingiu uma escola no Irã. Não vou entrar na geopolítica. Não é o meu campo e não é o assunto aqui. O que me interessa é o mecanismo por trás do erro, porque ele é exatamente o mesmo que eu vejo em empresas que usam IA no dia a dia.

O que aconteceu, em termos simples

Uma organização com os recursos mais caros do planeta, com gente treinada e protocolos rígidos, deixou uma decisão crítica apoiada demais no que o sistema dizia. Em algum ponto da cadeia, a recomendação da máquina virou verdade sem o questionamento que deveria ter vindo.

Isso tem nome. Pesquisadores chamam de viés de automação: a tendência de aceitar o que um sistema automático diz, mesmo quando há sinais de que algo está errado. Quanto mais o sistema acerta, mais a gente relaxa. E quanto mais a gente relaxa, mais caro fica o erro quando ele finalmente acontece.

O ponto que eu quero que você leve daqui: se isso acontece num lugar com esse nível de controle, acontece na sua empresa também. Só que com consequências bem menores, e por isso mesmo ninguém repara.

Por que confiar demais na IA é tão fácil

A IA moderna tem um problema de apresentação. Ela erra com a mesma confiança com que acerta.

Um estagiário inseguro diz "acho que é isso, mas confere". Um modelo de linguagem entrega um texto limpo, formatado, com tom de especialista. Mesmo quando inventou metade.

Some isso a três coisas bem humanas:

• Pressa. A IA existe para ganhar tempo. Revisar parece desfazer o ganho.
• Histórico bom. Acertou as últimas 50 vezes? A 51ª passa direto.
• Diluição da responsabilidade. "Foi o sistema que sugeriu." Ninguém se sente dono da decisão.

Nenhuma dessas é burrice. É cansaço, rotina e incentivo errado. Por isso o problema não se resolve pedindo para as pessoas "prestarem mais atenção". Resolve com processo.

A IA não tira a responsabilidade de ninguém. Ela só deixa mais fácil esquecer de quem ela é.

Onde isso aparece num SaaS de verdade

Vou trazer para o chão. Esses são casos que eu já vi ou que aparecem direto em conversa com cliente.

Triagem de suporte. Um SaaS de gestão coloca IA para classificar tickets por urgência. Funciona bem. Até que um cliente grande escreve "não consigo emitir nota fiscal" de um jeito educado e calmo, e a IA marca como baixa prioridade. O ticket fica dois dias na fila. O cliente cancela.

Análise de crédito ou risco. Um sistema de cobrança usa um modelo para sugerir quem deve ser bloqueado por inadimplência. O modelo aprendeu com dados antigos e bloqueia um cliente que tinha acabado de renegociar. O time financeiro aprova em lote, porque são 300 casos por semana e "o sistema já filtrou".

Respostas automáticas. Um chatbot responde dúvidas sobre plano e preço. Um dia ele inventa um desconto que não existe. Agora você tem um print circulando e um cliente cobrando a promessa.

Faça a conta rápida. Se a sua IA acerta 97% das vezes e processa 2.000 itens por mês, são 60 erros. Todo mês. A pergunta não é se ela erra. É quais desses 60 erros custam caro e se alguém está olhando para eles.

Quando a IA pode decidir sozinha (e quando não)

Aqui vai minha opinião forte: a maioria das empresas usa revisão humana no lugar errado. Revisa o que é barato e deixa passar o que é caro.

Um jeito simples de separar é perguntar duas coisas sobre cada tarefa:

1. O erro é reversível? Um e-mail de marketing com uma vírgula errada, sim. Um bloqueio de conta, um reembolso negado ou uma cobrança indevida, bem menos.
2. Quem sente o erro? Se é só você, internamente, dá para tolerar mais. Se é o cliente, o custo sobe na hora.

Erro reversível e interno? Deixa a IA rodar sozinha e revisa por amostragem. Erro difícil de desfazer ou que atinge o cliente? A IA sugere, uma pessoa decide. Simples assim.

O Pentágono estava no pior quadrante possível: erro irreversível, com vítimas reais. O seu SaaS provavelmente nunca vai chegar perto disso. Mas o quadrante de "irreversível e atinge o cliente" existe em qualquer negócio, e costuma ser justamente onde a automação foi colocada primeiro, porque é onde tinha mais volume.

Como usar IA no seu SaaS sem perder o controle

Não estou dizendo para largar a IA. Eu trabalho com isso todo dia e acho que empresa que ignora IA vai ficar para trás. O ponto é desenhar o uso direito. Na prática, isso é o que eu costumo montar:

Deixe a IA mostrar a dúvida. Em vez de só "urgente" ou "não urgente", peça um nível de confiança. Tudo abaixo de um limite vai para revisão humana. Isso corta o volume de revisão e foca no que importa.

Crie um freio nos pontos caros. Bloqueio, reembolso, promessa comercial, mudança de plano. Nesses pontos a IA prepara tudo e uma pessoa aperta o botão. Leva 20 segundos. Economiza semanas de dor de cabeça.

Revise por amostragem, mesmo quando está tudo bem. Separe 20 casos aleatórios por semana e confira. É o único jeito de perceber que a qualidade caiu antes do cliente perceber.

Registre quem aprovou. Parece burocracia. Não é. Quando cada decisão tem um nome ao lado, as pessoas voltam a ler o que estão aprovando. Curioso como isso funciona.

Limite o que o chatbot pode prometer. Preço, prazo, desconto e política de cancelamento devem vir de uma fonte fixa, não da criatividade do modelo. IA criativa é ótima para rascunho de post. Para tabela de preço, prefira a IA mais sem graça possível.

O custo de não fazer nada

Uma resposta que eu escuto muito: "mas até agora não deu problema". É exatamente o que torna o viés de automação perigoso. Ele não dá sinal. O sistema funciona, funciona, funciona, e o dia em que ele falha é o dia em que ninguém estava olhando, porque todo mundo tinha aprendido que não precisava olhar.

Você não precisa de um comitê de ética em IA nem de uma consultoria de seis meses. Precisa de umas poucas perguntas feitas antes de ligar a automação: onde ela erra, quanto custa esse erro e quem confere. Isso cabe numa reunião de uma hora.

Se você já tem IA rodando no seu produto ou na sua operação e não sabe dizer onde estão esses pontos de freio, vale parar e mapear. É o tipo de trabalho que eu faço com empresas que querem automatizar sem virar refém do sistema. Se quiser entender como eu trabalho, dá uma olhada em quem eu sou.

O Pentágono reconheceu que confiar demais na IA contribuiu para um ataque que atingiu uma escola no Irã.

Não vou falar de geopolítica. Me interessa o mecanismo, porque é o mesmo que vejo em empresas todo dia: a IA acerta 50 vezes e na 51ª ninguém confere mais.

A IA erra com a mesma confiança com que acerta. E "foi o sistema que sugeriu" não tira a responsabilidade de ninguém.

Se ela acerta 97% em 2.000 itens por mês, são 60 erros. A pergunta é quais deles custam caro e quem está olhando.

Minha regra: se o erro é reversível e interno, a IA roda sozinha. Se é difícil de desfazer ou atinge o cliente, a IA sugere e uma pessoa decide.

Escrevi sobre como colocar esses pontos de freio no seu SaaS sem perder o ganho da automação. O link está nos comentários.

#InteligenciaArtificial #SaaS #Automacao #GestaoDeRisco #Tecnologia