Agentes de IA: o ranking mudou de dono outra vez

Você aprovou um projeto de automação em abril baseado no "melhor modelo do mercado". Em agosto, o melhor modelo é outro. E provavelmente chinês.

O Qwen3.8 Max assumiu o topo do índice de agentes do Artificial Analysis, que mede o quanto um modelo consegue executar tarefas de várias etapas sozinho, não só responder perguntas bonitinho. É a terceira troca de líder no ano. Se você é dono de negócio e está tentando decidir onde apostar em agentes de IA, essa notícia parece importante. Ela é menos importante do que parece, e eu vou explicar por quê.

O que esse ranking mede de verdade

Existe uma diferença grande entre um modelo que conversa bem e um modelo que trabalha bem.

Conversar bem é responder uma pergunta. Trabalhar bem é receber "consolide os pedidos dessa planilha, cheque quais têm nota fiscal pendente e me manda um resumo", e fazer as três coisas na ordem certa, sem inventar dado no meio do caminho.

O índice de agentes tenta medir a segunda coisa. Ele coloca o modelo para usar ferramentas, navegar, escrever código, consultar sistemas e completar tarefas longas. É o teste mais próximo do que você realmente quer: alguém que faz, não alguém que opina.

E aqui está o dado curioso. Nesse tipo de teste, a distância entre o primeiro colocado e o quinto colocado é pequena. Estamos falando de poucos pontos percentuais. O primeiro lugar rende manchete. Na prática, se o seu processo funciona com o quinto colocado, ele funciona com o primeiro, e vice-versa.

Por que trocar de modelo raramente resolve seu problema

Vou ser direto: em quase todo projeto de automação que já vi dar errado, o modelo não era o culpado.

Os culpados costumam ser:

• Dados bagunçados. O agente lê a planilha onde o mesmo cliente aparece como "Silva ME", "Silva Me" e "silva mercadinho". Nenhum modelo do ranking conserta isso sozinho.
• Processo indefinido. Ninguém sabe explicar em texto o que acontece quando o pedido chega sem CNPJ. Se a pessoa não sabe, o agente também não vai saber.
• Falta de acesso. O sistema que guarda a informação não tem integração, e a resposta é "a Fulana exporta manualmente toda sexta".

Esses três problemas custam mais caro que qualquer diferença entre modelos. E eles são chatos de resolver, o que explica por que muita gente prefere discutir qual IA é a melhor.

Trocar de modelo é fácil. Arrumar o processo é o trabalho de verdade.

O caso do orçamento que levava dois dias

Um cliente meu, uma distribuidora, tinha um fluxo assim. O vendedor recebia um pedido por WhatsApp, geralmente uma foto de lista escrita à mão ou um PDF do cliente. Ele digitava tudo no sistema, conferia estoque, calculava frete, montava o orçamento e devolvia. Média de dois dias por orçamento nos dias cheios.

Montamos um agente para a parte mecânica: ler o pedido, identificar os itens no catálogo, checar estoque e gerar o rascunho do orçamento. O vendedor revisa e aprova. Caiu para cerca de vinte minutos.

O que fez isso funcionar não foi o modelo. Foi o mês anterior, gasto em três coisas nada glamourosas:

1. Padronizamos o catálogo de produtos, porque o mesmo item tinha quatro nomes diferentes.
2. Definimos por escrito o que o agente faz quando não tem certeza (resposta: para e pergunta, nunca chuta).
3. Colocamos o vendedor no fim do fluxo, com poder de veto.

O modelo usado ali já foi trocado duas vezes desde então. O processo continua o mesmo, e a troca levou uma tarde. É esse o ponto.

Então o ranking não serve para nada?

Serve, sim. Só não serve para o que a maioria acha.

Ele serve para você entender a direção do mercado. E a direção é clara: modelos abertos chineses, como o Qwen, estão colando nos americanos e custando uma fração do preço. Isso muda a conta do seu projeto.

Um agente que roda mil tarefas por dia com um modelo caro pode custar alguns milhares de reais por mês. O mesmo agente com um modelo aberto competitivo pode custar centenas. Quando a diferença de qualidade é de dois pontos num benchmark e a diferença de preço é de cinco vezes, a decisão fica bem menos filosófica.

Serve também para calibrar expectativa. Os melhores modelos hoje acertam algo em torno de 60% a 70% das tarefas agênticas complexas em ambiente de teste. Não 99%. Se alguém te vender um agente que "faz tudo sozinho sem supervisão", pergunte qual benchmark sustenta isso. A resposta vai ser interessante.

Como decidir sem virar refém de manchete

Um jeito prático de encarar isso, na ordem:

Escolha o processo, não a tecnologia. Pegue uma tarefa que é repetitiva, tem regra clara e consome hora de gente cara. Orçamento, triagem de e-mail, conferência de documento, resposta de primeira linha. Se a tarefa exige julgamento fino ou o erro é caro demais, deixe para depois.

Monte para trocar de motor. Isso é responsabilidade de quem constrói, mas você pode cobrar. A pergunta certa para o seu fornecedor é: "se sair um modelo melhor ou mais barato em três meses, quanto trabalho dá para trocar?". Se a resposta for "refazemos tudo", o projeto está mal desenhado.

Meça antes de começar. Quanto tempo essa tarefa leva hoje? Quantos erros acontecem por mês? Sem esses dois números, você não vai conseguir provar que a automação valeu, e vai acabar decidindo por sensação.

Deixe um humano no ponto de decisão. Não porque a IA é burra, mas porque a responsabilidade continua sendo sua. Agente prepara, pessoa aprova. Funciona melhor e dorme melhor.

O que eu faria no seu lugar

Ignore o ranking por seis meses. Ele vai mudar de novo, provavelmente antes disso.

Use esse tempo para escolher um processo, documentar como ele funciona de verdade (não como está no manual) e limpar os dados que ele usa. Quando isso estiver pronto, ligar um agente em cima vira questão de semanas, e você vai poder trocar o modelo quantas vezes quiser sem refazer nada.

A parte difícil da automação nunca foi a IA. Sempre foi entender o próprio processo bem o bastante para explicá-lo a alguém que nunca trabalhou na sua empresa. Acontece que agora esse alguém é uma máquina, e ela é bem literal.

Se você tem um processo em mente e quer uma opinião honesta sobre se vale automatizar, me conta o que você faz hoje. Às vezes a resposta é uma planilha melhor, e eu falo isso também.

Em abril você aprovou um projeto de automação com "o melhor modelo do mercado". Em agosto o melhor é outro, e provavelmente chinês.

O Qwen3.8 Max assumiu o topo do ranking de agentes. Terceira troca de líder no ano.

Só que em quase todo projeto de automação que vi dar errado, o modelo nunca foi o culpado. Foi dado bagunçado, processo que ninguém sabe explicar por escrito e sistema sem integração.

Um cliente meu derrubou o orçamento de 2 dias para 20 minutos. O que fez funcionar foi um mês limpando catálogo e definindo regras, não a IA da moda. O modelo já trocou duas vezes desde então e a troca levou uma tarde.

Ignore o ranking por seis meses. Use esse tempo para entender o seu próprio processo.

Se você tem uma tarefa repetitiva em mente e quer uma opinião honesta sobre se vale automatizar, me chama. Às vezes a resposta é uma planilha melhor, e eu falo isso também.

#InteligenciaArtificial #Automacao #Produtividade #Tecnologia #Negocios