Agentes de IA local: 14MB rodando sem internet

Você já teve a conta da API de IA chegando e pensou "mas eu só usei pra classificar e-mail"? Pois é. A maior parte do que empresa faz com IA é tarefa pequena, repetitiva e chata. E a gente vem pagando preço de foguete pra ir na padaria. É por isso que agentes de IA local, modelos minúsculos que rodam no próprio aparelho, começaram a virar assunto sério.

Apareceu essa semana um modelo chamado Needle2, da Cactus Compute. Ele ocupa 14 megabytes. Não é erro de digitação. Quatorze. Uma foto do seu celular pesa mais que isso. E ele não é um chatbot: é um modelo feito pra chamar ferramentas, ou seja, decidir qual ação executar e com quais parâmetros. Roda em celular, em relógio, em fechadura inteligente, em robô de armazém.

O que muda quando a IA cabe no aparelho

Hoje o padrão é: seu app pergunta, manda pra nuvem, espera, recebe, mostra. Funciona bem. Mas carrega três problemas que ninguém gosta de encarar na reunião.

Primeiro, custo. Você paga por token, e token é consumo variável. Quanto mais o produto dá certo, mais caro fica. É o único negócio do mundo onde o sucesso te pune.

Segundo, latência. Ida e volta pra nuvem custa entre 300ms e 2 segundos, dependendo da rede do cliente. Pra escrever um texto, tudo bem. Pra uma fechadura decidir se abre a porta, é uma eternidade.

Terceiro, dado. Toda vez que o texto sai da sua máquina, alguém precisa responder na auditoria o que acontece com ele. Já vi projeto de saúde parar dois meses nessa pergunta.

Modelo local resolve os três de uma vez. Custo zero por chamada depois que o app está instalado. Resposta em dezenas de milissegundos. E o dado nunca sai do aparelho, o que faz a conversa sobre LGPD ficar bem mais curta.

Nem toda tarefa precisa de um gênio. Muita coisa precisa só de alguém que não erra o botão.

Mas 14MB pensa alguma coisa?

Não, e esse é o ponto. Um modelo desse tamanho não escreve sua proposta comercial, não analisa contrato e não vai substituir o Claude ou o GPT que você usa pra trabalho de verdade. Se você pedir análise de mercado, ele vai inventar. Com convicção.

O que ele faz é uma coisa só, e bem: pegar uma frase e transformar em ação estruturada.

• "Apaga a luz da sala" vira luz.desligar(comodo="sala")
• "Marca reunião com o Paulo terça às 14h" vira uma chamada de agenda com os campos preenchidos
• "Cliente reclamou de cobrança errada" vira um ticket com a categoria certa

É roteamento inteligente. Traduzir linguagem humana em comando de máquina. Isso é uns 70% do que a maioria das automações precisa, e a gente vinha usando modelo de bilhão de parâmetros pra fazer o serviço.

A comparação honesta: é a diferença entre contratar um advogado sênior e contratar uma recepcionista muito boa. Você não coloca o sênior pra transferir ligação.

Onde isso serve num negócio de verdade

Deixa eu tirar do abstrato. Três cenários que aparecem toda hora aqui.

Aplicativo de campo. Técnico de manutenção, entregador, vendedor externo. Gente que trabalha em galpão, subsolo, estrada, lugar onde o 4G morre. Hoje o app deles ou é formulário chato ou depende de internet pra "entender" o que a pessoa digitou. Com modelo local, o cara fala "troquei o compressor, peça 4402, cliente assinou" e o app preenche o relatório. Sem sinal. Sincroniza depois.

Triagem de mensagem. Empresa que recebe 300 mensagens por dia no WhatsApp. Classificar cada uma (orçamento, suporte, reclamação, spam) via API custa pouco por mensagem, mas custa. E cada mensagem passa por um servidor de terceiro. Um modelo pequeno rodando no seu próprio servidor faz a triagem, e só o que é complexo sobe pra um modelo grande.

Dispositivo físico. Totem, catraca, painel de controle, equipamento industrial. Aqui não tem discussão: se a decisão depende da nuvem e a nuvem cai, o equipamento vira enfeite.

Repare no padrão. Em nenhum deles a inteligência bruta é o gargalo. O gargalo é custo, conexão ou privacidade.

O truque que vale mais que o modelo

Aqui vai a parte que interessa mesmo, e que vale independente do Needle2 existir ou não.

A arquitetura que funciona é em camadas. Modelo pequeno na frente, modelo grande atrás. O pequeno atende tudo que chega, resolve o que é simples e passa adiante o que é difícil. É exatamente como funciona um bom atendimento humano: nível 1 e nível 2.

Na prática, num fluxo de suporte típico, algo entre 60% e 80% das entradas são repetição. Segunda via de boleto, horário de funcionamento, status de pedido, alteração de cadastro. Se o modelo local resolve essa faixa, sua conta de API cai na mesma proporção. E a qualidade não cai, porque o que é difícil continua indo pro modelo bom.

Eu implementei essa lógica em cliente sem nem usar modelo local: só um filtro de regras antes da IA. A conta caiu 40% no primeiro mês. Com um modelo pequeno na frente, o corte é maior e o filtro fica mais esperto, porque entende variação de escrita ("boleto", "bolet", "aquele papel de pagar").

A lição não é "use modelo minúsculo". É: pare de mandar tudo pro modelo mais caro que existe. Isso é o equivalente de IA a pegar Uber Black pra ir na esquina, todo dia, e depois reclamar do extrato.

O que eu não faria com isso ainda

Uma opinião forte, já que estamos aqui: eu não colocaria modelo de 14MB tomando decisão sozinho em nada que envolva dinheiro, saúde ou segurança de pessoa. Não porque ele é ruim, mas porque a taxa de erro de um modelo pequeno é maior, e você precisa de um plano pra quando ele errar.

O jeito certo de usar é com escape. Se o modelo não tem certeza, ele não chuta: ele escala. Manda pro modelo grande, ou pro humano. Esse "não sei" bem implementado vale mais que dez pontos de acurácia.

Também não vale a pena embarcar isso em produto que ainda não existe. Se você não tem o fluxo mapeado, colocar IA local antes é otimizar uma coisa que você não sabe se as pessoas vão usar. Primeiro faz funcionar do jeito caro e simples. Depois barateia com dado real na mão.

Por onde começar sem gastar

Um caminho curto, na ordem:

1. Pegue 200 interações reais do seu atendimento ou do seu app. Não invente, use as de verdade.
2. Separe em duas pilhas: "resposta padrão resolve" e "precisa pensar".
3. Se a primeira pilha tiver mais de 100 itens, você tem um caso claro. Se tiver 20, deixa quieto e cuida de outra coisa.
4. Meça quanto essa primeira pilha custa hoje: em API, em tempo de gente, em cliente esperando.

Esse número é o seu orçamento. Se ele for pequeno, ótimo, você acabou de economizar um projeto. Se for grande, agora você sabe exatamente o que está comprando.

O interessante do Needle2 e dos modelos desse tipo não é o tamanho. É a mensagem embutida: a indústria passou dois anos correndo atrás de modelo maior e agora descobriu que o problema de muita empresa é o contrário. Não falta inteligência. Falta colocar a inteligência certa no lugar certo, com o custo certo.

Se você tem uma operação que passa tudo por IA e desconfia que está pagando demais por tarefa simples, isso normalmente dá pra medir em uma tarde. Me conta o que você está automatizando e a gente vê se o corte existe de verdade ou se é só teoria bonita.

Sua conta de IA subiu de novo e boa parte dela foi só pra classificar e-mail.

Apareceu essa semana o Needle2, um modelo de 14 megabytes que roda no próprio aparelho, sem internet. Ele não pensa, não analisa contrato, não escreve proposta. Ele faz uma coisa só: transformar frase em ação.

E olha, uns 70% das automações que eu vejo por aí precisam exatamente disso, mas estão rodando em modelo de bilhão de parâmetros.

A conta não é sobre tamanho de modelo. É sobre parar de pegar Uber Black pra ir na esquina todo dia e depois reclamar do extrato.

Modelo pequeno na frente, modelo grande atrás, e o que ele não sabe ele escala em vez de chutar. Já vi cair 40% de custo só com filtro de regras antes da IA.

Se você desconfia que está pagando demais por tarefa simples, isso dá pra medir em uma tarde. Me conta o que você está automatizando.

#InteligenciaArtificial #IALocal #EdgeAI #Automacao #Tecnologia