Grok 4.6 tirou 61 no ranking de IA. O que isso muda pra você?
Toda semana chega uma mensagem no meu WhatsApp com um print de ranking e a pergunta: "Diego, vale trocar pra esse aqui?". Dessa vez o print era do Grok 4.6, o novo modelo da xAI, que marcou 61 pontos no Artificial Analysis Intelligence Index. É um número bom. Coloca o modelo no grupo de elite, brigando com os melhores do mercado. Mas antes de você abrir o cartão de crédito, vale entender o que esse 61 mede, o que ele não mede e como isso se conecta com o seu faturamento.
O que é o Artificial Analysis Intelligence Index
A Artificial Analysis é uma empresa independente que testa modelos de IA do jeito mais parecido possível entre si. Eles pegam um conjunto de provas padronizadas: raciocínio, matemática, programação, conhecimento geral, capacidade de seguir instruções longas, uso de ferramentas. Rodam tudo nas mesmas condições e juntam numa nota só, de 0 a 100.
O Grok 4.6 fez 61. Pra dar escala: os modelos de ponta hoje ficam na faixa dos 60 e poucos. Modelos bons e baratos ficam entre 40 e 50. Modelos de um ano e meio atrás, que na época pareciam mágica, ficam abaixo de 40.
Então sim, é um resultado de primeira prateleira. A xAI saiu de "o chatbot do Twitter" para um concorrente de verdade em pouco mais de dois anos.
Só que tem um detalhe que o print não mostra.
O que a nota esconde
O índice é uma média. E média esconde coisa.
Um modelo pode ser brilhante em matemática e mediano em seguir instruções de formatação. Outro pode ser excelente escrevendo texto em português e fraco em código. Os dois podem ter a mesma nota final.
No caso do Grok 4.6, o que chamou atenção no relatório foi a combinação de duas coisas: nota alta e velocidade alta. Ele responde rápido e pensa bem. Isso é raro. Normalmente, quanto mais o modelo "pensa" antes de responder, mais lento e mais caro ele fica.
Mas o relatório também mostra onde ele gasta mais tokens que a concorrência pra chegar na mesma resposta. Em linguagem de dono de negócio: a conta no fim do mês pode ser maior do que o preço por milhão de tokens sugere, porque o modelo fala demais pra resolver a mesma tarefa.
Ranking mede a prova. Seu negócio mede o resultado.
Essa distinção vale mais do que qualquer benchmark.
Por que o melhor modelo do ranking pode ser a pior escolha pra você
Vou contar um caso real, com nomes trocados.
Uma clínica odontológica me procurou no início do ano. Queriam automatizar a triagem de mensagens no WhatsApp: identificar se é agendamento, dúvida sobre convênio, orçamento ou reclamação, e encaminhar pro lugar certo. Volume: cerca de 400 mensagens por dia.
O sócio tinha visto um ranking e queria "o melhor". O melhor na época custava uns 15 dólares por milhão de tokens de saída.
Testamos três modelos com 200 mensagens reais da clínica. Resultado:
- Modelo de ponta: acertou 97% das classificações.
- Modelo intermediário: acertou 96%.
- Modelo barato: acertou 94%.
A diferença entre o primeiro e o segundo era de duas mensagens em 200. O custo era sete vezes maior. Fechamos com o intermediário. Economia de mais de R$ 600 por mês numa operação pequena, sem perda perceptível.
Classificar mensagem de paciente não é o mesmo que resolver um problema de matemática olímpica. O ranking testa o segundo. Você precisa do primeiro.
Quando o ranking importa de verdade
Não quero que você saia daqui achando que benchmark é inútil. Ele importa em três situações:
Quando a tarefa é difícil de verdade. Análise de contrato com cláusulas cruzadas, código complexo, relatórios que exigem cruzar várias fontes. Aí a diferença entre 55 e 61 aparece na prática, e aparece em erros que custam caro.
Quando você vai usar agentes. Agente é aquele sistema que executa tarefas em várias etapas sozinho: abre planilha, consulta API, toma decisão, segue. Um erro na etapa 2 contamina tudo que vem depois. Modelos mais fortes erram menos no meio do caminho, e isso se acumula.
Quando você não tem como testar antes. Se não dá pra rodar um piloto com dados seus, o ranking é a melhor proxy que existe. Melhor que propaganda da empresa, com certeza.
Fora disso, o ranking é só curiosidade. Boa curiosidade, mas curiosidade.
Como escolher o modelo certo sem virar especialista
Aqui vai o processo que eu uso com cliente, reduzido ao essencial:
- Defina a tarefa com precisão. "Usar IA no atendimento" não é tarefa. "Classificar mensagem em 5 categorias" é.
- Junte 100 a 200 exemplos reais. Dos seus dados, não de exemplo da internet. Mensagem de cliente seu, documento seu, planilha sua.
- Teste 3 modelos de faixas de preço diferentes. Um de ponta, um intermediário, um barato.
- Meça acerto e custo lado a lado. Se o barato acerta 94% e o caro acerta 97%, pergunte: quanto custa cada erro? Às vezes vale pagar. Na maioria das vezes, não.
- Deixe a troca fácil. Use uma camada que permita mudar de modelo sem reescrever tudo. Daqui a três meses o ranking muda de novo e você não quer refazer o sistema.
Esse último ponto é o que mais economiza dinheiro a longo prazo. O Grok 4.6 de hoje é o modelo intermediário de amanhã. Já vi isso acontecer com cada modelo que um dia foi "o melhor".
E o Grok 4.6, vale a pena?
Minha opinião honesta: vale testar se você já tem algo rodando e quer comparar. Não vale trocar por impulso.
O modelo é competente, rápido e a xAI tem investido pesado em infraestrutura. Mas é uma empresa jovem, com histórico de mudanças bruscas de direção, e o ecossistema de ferramentas em volta dela ainda é menor que o dos concorrentes. Pra uma empresa que depende do sistema funcionando todo dia, estabilidade do fornecedor pesa tanto quanto a nota no ranking.
Se a sua operação de IA depende de um número que muda toda semana, o problema não é o modelo. É a falta de método pra escolher.
É exatamente esse tipo de decisão que eu ajudo empresas a tomar: testar com dado real, medir o que importa e montar uma automação que não quebra quando o ranking muda. Se quiser conversar sobre o seu caso, me conhece melhor aqui.
Resumo para o LinkedIn
O Grok 4.6 tirou 61 no ranking de IA. E daí? Toda semana recebo um print de ranking no WhatsApp com a mesma pergunta: "Diego, vale trocar?" Ranking mede a prova. Seu negócio mede o resultado. Testei três modelos com 200 mensagens reais de uma clínica: o de ponta acertou 97%, o intermediário 96%, o barato 94%. O mais caro custava sete vezes mais por duas mensagens de diferença. Se a sua operação de IA depende de um número que muda toda semana, o problema não é o modelo. É a falta de método pra escolher. Quer saber como escolher com dado real em vez de print? Me chama. #InteligenciaArtificial #Automacao #IAparaNegocios #Grok #Tecnologia