Grok 4.6 marca 61 em IA: o que muda pra você

Alguém do seu time mandou um print no grupo: "saiu um modelo melhor, a gente devia trocar". O print é um gráfico de barras. A barra nova é um tiquinho maior que a barra antiga. E agora você precisa decidir se para tudo e migra.

Foi mais ou menos isso que aconteceu quando o Grok 4.6 apareceu com 61 no Artificial Analysis Intelligence Index. É um número alto. É um número real. E, na maioria das empresas que eu atendo, é um número que não muda absolutamente nada no dia seguinte.

Deixa eu explicar por quê, e o que olhar no lugar.

O que esse índice de 61 mede de verdade

O Artificial Analysis é um site independente que testa modelos de IA e publica os resultados. O tal Intelligence Index não é um teste só. É uma média de vários testes diferentes: matemática de competição, programação, perguntas de nível de pós-graduação em ciências, raciocínio longo, uso de ferramentas.

Cada um desses testes vira uma nota. As notas viram uma nota só, de 0 a 100. Grok 4.6 chegou em 61.

Para dar escala: os melhores modelos do mercado hoje vivem todos na mesma faixa, entre uns 55 e uns 65. Há dois anos, os melhores estavam bem abaixo disso. O topo virou um pelotão apertado. Ninguém está mais abrindo dez pontos de vantagem sobre o resto.

E aqui está a pegadinha. Os testes que compõem o índice são difíceis de propósito. Precisam ser, senão todo mundo acertaria tudo e o ranking perderia a graça. Então eles medem coisas como resolver problema de olimpíada de matemática e responder química de doutorado.

Sua empresa não faz olimpíada de matemática.

Por que 2 pontos no ranking não aparecem no seu caixa

Pensa no que você realmente pede para uma IA no trabalho:

• Resumir uma reunião de 40 minutos
• Ler um contrato e apontar as cláusulas estranhas
• Classificar 300 e-mails de suporte por assunto
• Escrever a primeira versão de uma proposta comercial
• Extrair dados de uma nota fiscal em PDF

Nenhuma dessas tarefas encosta no teto de capacidade dos modelos de topo. Todas elas já eram resolvidas com folga por modelos de 2024. A diferença entre 59 e 61 pontos aparece quando a tarefa é muito difícil. Nas tarefas normais, os dois acertam, e você não consegue dizer qual foi qual.

Benchmark mede o teto. Seu trabalho acontece no chão.

Já vi cliente gastar três semanas migrando uma automação inteira para o modelo do momento. Resultado medido depois: praticamente idêntico. O que mudou de verdade foi a conta no fim do mês, e não foi para menos.

As três coisas que mexem no resultado de verdade

Se o índice não decide, o que decide? Na prática, três coisas.

Preço por uso. Modelos de topo custam entre muito barato e absurdamente caro, com diferenças de dez ou vinte vezes entre eles. Uma automação que roda cinquenta vezes por dia sente essa diferença. Uma que roda cinquenta vezes por mês, não sente nada. Antes de olhar ranking, calcule seu volume. Sério, é conta de padaria e resolve 80% da dúvida. O Grok, aliás, joga bem nesse ponto: a xAI tem posicionado ele com preço agressivo, e isso é mais relevante para o seu caso do que os 61.

Velocidade. Se a IA responde dentro de um chat que um cliente está olhando, três segundos a mais é problema. Se ela roda de madrugada processando planilha, tanto faz se leva 3 ou 30 segundos. Ninguém está acordado para reclamar.

Tamanho do contexto. É quanto de texto o modelo consegue ler de uma vez. Se você joga contratos de 80 páginas nele, isso importa muito. Se você manda parágrafos, não importa nada.

Repare que nenhuma das três aparece naquele gráfico de barras que chegou no seu grupo.

O teste de 20 casos que vale mais que qualquer ranking

Aqui vai o que eu faço com cliente, e você pode fazer sozinho numa tarde.

Pegue 20 exemplos reais do seu trabalho. Reais mesmo, não inventados. Vinte e-mails de suporte que já chegaram. Vinte notas fiscais que já passaram. Vinte pedidos de orçamento do mês passado.

Para cada um, escreva qual seria a resposta certa. Isso dá trabalho e é justamente a parte que todo mundo pula. É também a parte que faz o teste valer alguma coisa.

Agora rode os mesmos 20 casos em dois ou três modelos diferentes. Conte quantos cada um acertou. Anote quanto custou e quanto demorou.

Você vai descobrir uma de duas coisas. Ou os modelos empatam, e aí escolha o mais barato e vá viver sua vida. Ou um deles erra sistematicamente num tipo de caso, e aí você achou algo que ranking nenhum ia te contar, porque é específico do seu negócio.

Fiz isso com uma empresa de logística no começo do ano. O modelo "melhor" no ranking errava endereços com nome de santo abreviado. O modelo mais barato acertava. Eles ficaram com o barato. Nenhum benchmark do mundo tem uma categoria chamada "S. José do Rio Preto".

Então o Grok 4.6 não serve pra nada?

Serve, e bastante. Só não pelo motivo que o print sugere.

O que a xAI vem fazendo bem é entregar capacidade de topo com preço de meio de tabela. Isso muda a conta de automações de alto volume. Se você processa milhares de itens por dia, uma diferença de preço por item vira dinheiro visível rápido.

Fora isso, ter mais um modelo forte na disputa é bom para você mesmo que você nunca use. Concorrência apertada no topo significa preço caindo e capacidade subindo para todo mundo. Quem usa IA em produção sentiu isso nos últimos dois anos de forma bem concreta: o mesmo trabalho que custava X hoje custa uma fração.

A minha opinião forte, já que estamos em confiança: acompanhar ranking de modelo semana a semana é hobby, não estratégia. É divertido, eu mesmo faço. Mas confundir isso com decisão de negócio é como trocar de carro toda vez que sai um que faz 0 a 100 meio segundo mais rápido, sendo que você usa o carro para ir ao mercado.

O que fazer na segunda-feira

Se você já tem IA rodando em algum processo, o roteiro é curto:

1. Monte o conjunto de 20 casos reais. Uma tarde.
2. Meça o que você tem hoje. Acertos, custo, tempo.
3. Só teste modelo novo se tiver um problema concreto: caro demais, lento demais, ou errando muito.
4. Se trocar, troque com o teste na mão e mantenha o resultado registrado.

Se você ainda não tem IA rodando em nada, ignore o ranking por completo. Sua limitação não é qual modelo usar. É que ninguém ainda conectou a IA no lugar onde o trabalho acontece: no seu e-mail, na sua planilha, no seu sistema. Um modelo de 61 pontos desconectado vale exatamente zero. Um modelo de 55 pontos plugado no processo certo economiza horas toda semana.

A parte difícil nunca foi escolher o modelo. É desenhar o processo, ligar nos sistemas que você já usa e garantir que alguém confira o resultado nas primeiras semanas. Modelo é commodity. Encaixe é que dá trabalho.

Se você quer descobrir onde a IA encaixa no seu negócio antes de se preocupar com qual delas usar, me conta o que você faz e a gente olha isso juntos.