Agentes de IA: o ranking mudou, e agora?

Você escolheu uma ferramenta de IA há seis meses. Pagou, treinou o time, integrou no sistema. Ontem saiu um ranking novo e a sua escolha não está mais em primeiro lugar. E aí, joga tudo fora?

Não. Mas vale entender o que aconteceu, porque isso vai acontecer de novo. O ranking de agentes de IA da Artificial Analysis, que mede quão bem os modelos executam tarefas de verdade em vez de só responder perguntas, colocou o Qwen3.8 Max no topo. É um modelo chinês, da Alibaba. Ele passou os nomes que você provavelmente conhece. E daqui a três meses provavelmente outro passa ele.

Essa é a notícia real. Não é qual modelo ganhou. É a velocidade com que o pódio troca de dono.

O que é um "índice agêntico" e por que ele importa mais

Os primeiros rankings de IA mediam conhecimento. Perguntavam coisas e viam quem acertava mais. Bonito de ver, mas quase inútil para quem tem empresa.

O índice agêntico mede outra coisa: se o modelo consegue fazer algo. Abrir um sistema, buscar um dado, comparar com outro, tomar uma decisão, executar. Uma sequência de passos onde cada erro contamina o próximo.

É a diferença entre um estagiário que sabe muita coisa e um estagiário que resolve o problema sozinho. O primeiro é agradável no almoço. O segundo você não demite.

Na prática, esse índice responde a pergunta que interessa: esse modelo aguenta uma tarefa de dez etapas sem se perder no meio? Porque é isso que a sua operação precisa. Ninguém automatiza "escrever um texto". Automatiza "receber o pedido, checar estoque, gerar a nota, avisar o cliente, atualizar a planilha".

Um modelo chinês em primeiro lugar diz o quê?

Diz que o assunto virou commodity mais rápido do que muita gente esperava.

Dois anos atrás existia uma diferença clara entre o líder e o resto. Hoje existe um pelotão. Cinco ou seis modelos brigando por décimos, com trocas de posição a cada lançamento. Alguns deles com preços que são uma fração do que se cobrava.

Isso é ótimo para você e péssimo para quem apostou tudo em um fornecedor só.

Quando o líder muda a cada trimestre, escolher o líder deixa de ser estratégia.

Tem a questão de onde os dados rodam, claro. Se você vai processar informação sensível de cliente, o país do servidor importa, e importa juridicamente. Mas isso é uma decisão de arquitetura, não um motivo para ignorar o que está acontecendo. Vários desses modelos rodam local ou em nuvem brasileira. Já escrevi sobre isso.

O erro que vejo empresa cometer

Vou ser direto porque é o que mais aparece nas conversas que tenho.

A empresa contrata uma ferramenta de IA, e a ferramenta vem com um modelo embutido, escolhido pelo fornecedor. Não tem como trocar. Aí o modelo fica pra trás, ou triplica de preço, e você descobre que sua automação inteira depende de uma decisão que outra pessoa tomou.

Vi uma distribuidora que montou toda a triagem de pedidos por WhatsApp em cima de uma plataforma fechada. Funcionou bem por oito meses. Aí o fornecedor mudou o plano, o custo por conversa subiu, e trocar significava refazer tudo do zero. Fizeram as contas: uns 40 dias de trabalho para migrar algo que levou 12 dias para construir.

O problema não foi a escolha do modelo. Foi não ter deixado a porta aberta.

Como montar automação que sobrevive à próxima troca de líder

A regra é simples: o modelo é uma peça, não a fundação.

O que faz sua automação funcionar não é o modelo. É o que está em volta:

• Os dados. De onde vem a informação, como ela chega limpa, quem mantém.
• As regras. O que o agente pode e não pode fazer. Onde ele para e chama um humano.
• Os testes. Um conjunto de casos reais da sua empresa que você roda contra qualquer modelo novo.
• O ponto de troca. Um único lugar no código onde o modelo é escolhido.

Se esses quatro estão de pé, trocar de modelo é uma tarde de trabalho. Você pega o novo líder do ranking, roda seus trinta casos de teste, compara resultado e custo, e decide. Sem drama.

Se não estão, cada troca é um projeto.

O ponto de troca é a parte mais barata e a que mais gente pula. Concretamente: em vez de espalhar chamadas ao modelo por quinze arquivos, você concentra em um. Todo o resto do sistema fala com esse um. Trocar o motor vira mudar uma linha. Custa quase nada fazer no começo, custa semanas fazer depois.

E os testes? Como saber se o modelo novo é melhor pra você

Ranking público mede tarefa genérica. Sua empresa não é genérica.

Monte seu próprio conjunto. Não precisa ser sofisticado. Pegue 20 a 40 casos reais que já aconteceram, com a resposta certa que você sabe qual é. Pedidos confusos, e-mails ambíguos, notas com dado faltando. As situações que dão trabalho.

Aí, quando sair um modelo novo, você roda os 30 casos e olha três números:

1. Quantos acertou. Óbvio, mas precisa estar escrito.
2. Quanto custou. Some o custo dos 30 e multiplique pelo seu volume mensal.
3. Quanto demorou. Se o cliente espera resposta no WhatsApp, 40 segundos é diferente de 4.

Um modelo que acerta 2% a mais e custa três vezes mais não é melhor para você. É melhor no ranking. São coisas diferentes.

Já vi caso de um modelo mais barato ganhar do "melhor do mundo" numa tarefa específica de extração de dados de nota fiscal, simplesmente porque a tarefa era estreita e o modelo caro gastava raciocínio à toa. O ranking não sabia disso. Os 30 casos sabiam.

O que fazer nesta semana

Se você já tem alguma automação com IA rodando, três perguntas:

Você sabe qual modelo está por trás? Se a resposta for "acho que é o da OpenAI, mas não tenho certeza", já é um sinal.

Você consegue trocar? Pergunte ao fornecedor ou a quem construiu. Se a resposta vier com "aí teria que refazer", você sabe o tamanho do risco.

Você tem como comparar? Se ninguém nunca escreveu os casos de teste, escreva. Uma tarde com quem faz o trabalho na mão, listando os casos que costumam dar problema. É o ativo mais duradouro de todo o projeto, porque ele sobrevive a qualquer troca de modelo.

E se você não tem nada rodando ainda, ótimo. Você começa já com a estrutura certa, sem dívida técnica de ninguém.

O ranking vai mudar de novo. Provavelmente antes do Natal. A pergunta não é quem vai estar no topo. É se, quando isso acontecer, você vai ter que ler a notícia com medo ou com curiosidade.

Se quiser conversar sobre como está montada a sua automação, ou como montar uma que não te prenda, dá uma olhada em quem eu sou e me manda uma mensagem.

Você escolheu uma ferramenta de IA há seis meses. Ontem saiu um ranking novo e ela não está mais em primeiro lugar.

E agora, joga tudo fora?

Não. Mas o recado é claro: o pódio troca de dono a cada trimestre. Escolher o líder deixou de ser estratégia.

O que faz sua automação sobreviver não é o modelo. São os dados, as regras, os testes com casos reais da sua empresa e um único lugar no código onde o modelo é trocado.

Com isso de pé, migrar é uma tarde de trabalho. Sem isso, cada troca vira um projeto de 40 dias.

Se quiser, me chama pra conversar sobre como está montada a sua: dá pra descobrir o tamanho do risco com três perguntas.

#InteligenciaArtificial #AgentesDeIA #Automacao #TransformacaoDigital #Tecnologia