Agentes de IA corriendo en local: ¿vale la pena?

Abriste la factura de la API de IA a fin de mes y te llevaste un susto. No fue un proyecto grande. Fue un robotito que lee correos, clasifica y responde. Corre todo el día, y cada lectura cuesta unos centavos. Multiplica por 4 mil correos y aparece el susto. Ese es el problema que los agentes de IA locales están intentando resolver: poner el modelo dentro de tu infraestructura, para que el costo por llamada deje de existir.

Meta lanzó en investigación el Muse Glimmer, un modelo de 30 mil millones de parámetros diseñado justamente para eso: agente encendido todo el tiempo, corriendo en la propia máquina. No es el modelo más inteligente del mundo. Es el modelo pensado para trabajar sin parar sin romper tu presupuesto. Y esa distinción importa mucho más para tu negocio que cualquier ranking de benchmark.

Qué cambia cuando el modelo corre en tu máquina

Hoy, la mayoría de los agentes funciona así: tu sistema manda el texto a un servidor de OpenAI, Anthropic o Google, espera, recibe la respuesta, paga por token. Funciona bien. Pero tiene tres molestias.

La primera es el costo variable. No lo controlas directamente. Si el volumen se duplica, la cuenta se duplica.

La segunda es la latencia. Cada llamada tarda de medio segundo a algunos segundos. Para un chat, está bien. Para un agente que hace 40 pasos en una tarea, eso se vuelve medio minuto de espera.

La tercera es el dato. Si procesas contratos, historiales médicos, fichas de clientes, alguien en el área legal va a preguntar hacia dónde está yendo ese texto. Y es una pregunta justa.

Correr en local ataca las tres de una vez. El modelo queda en una máquina tuya, el costo se vuelve hardware fijo, la respuesta es inmediata y el dato no sale del edificio.

El mejor modelo no es el más inteligente. Es el que logras dejar encendido.

"30 mil millones de parámetros" significa qué, en cristiano

Parámetro es más o menos el tamaño del cerebro del modelo. Los modelos de frontera, los grandes del mercado, tienen cientos de miles de millones. Corren en centro de datos, punto.

30 mil millones es otro nivel. Con cuantización, una técnica que comprime el modelo, un 30B corre en una máquina con una buena GPU. Estamos hablando de algo entre 3 mil y 5 mil dólares de hardware, dependiendo de cómo lo armes. Una workstation, no un rack.

Compara: un agente procesando 5 mil tareas por mes en una API de modelo grande queda fácil entre 150 y 500 dólares mensuales. En 12 meses, pagaste la máquina. Y la máquina sigue siendo tuya al año siguiente.

La cuenta cambia de cara cuando el volumen es bajo. ¿200 tareas por mes? Quédate en la API. No tiene sentido comprar hardware para dejarlo parado.

Dónde gana el local de verdad

No todo agente necesita ser genio. Buena parte del trabajo real es repetitivo y bien definido. Ahí es donde el modelo local brilla.

• Triaje de correo y WhatsApp: separar cotización de reclamo de spam. Una tarea simple que corre miles de veces.
• Lectura de documentos recurrentes: factura, contrato estándar, ficha de registro. El formato se repite, el modelo aprende el patrón.
• Monitoreo continuo: agente que mira inventario, plazos, planillas, y avisa cuando algo se sale de lo esperado. Eso corre 24 horas. En API, es una sangría.
• Primera capa de atención: entiende la intención, busca en tu base, responde lo básico. Solo escala a humano o a modelo mayor cuando se complica.

Ese último punto es el diseño más inteligente que veo hoy. Lo llaman enrutamiento en cascada. El modelo local agarra todo. Resuelve el 80%. El 20% difícil lo pasa a un modelo grande vía API. Pagas API solo por lo que es realmente difícil.

Hice esto en un cliente de e-commerce el año pasado. El triaje de mensajes quedaba local, y solo lo que tenía reclamo serio o negociación de precio subía al modelo caro. La cuenta de API bajó casi un 70%. El cliente ni notó diferencia en la calidad, porque la parte difícil siguió siendo tratada por el modelo bueno.

Dónde pierde feo el local

Voy a ser honesto, porque hay mucho entusiasta vendiendo el local como solución universal y no lo es.

Un modelo de 30B falla más en razonamiento largo. Si la tarea tiene ocho etapas encadenadas, con decisión en cada una, se va a perder más que un modelo grande. No siempre. Pero con frecuencia suficiente para que necesites validación.

La escritura creativa y el texto de venta también quedan debiendo. Sale correcto, sale sin gracia.

Y está el costo escondido: alguien necesita cuidar la máquina. Actualización, backup, qué pasa cuando se cae un martes por la mañana. Si no tienes a nadie de TI, eso pesa más que el ahorro de API. O contratas a quien la cuide, o aceptas que va a haber días con el sistema parado.

Mi opinión fuerte: el 90% de las empresas pequeñas y medianas que preguntan sobre IA local todavía no deberían hacerlo. El volumen no lo justifica. Empieza en la API, mide el costo real durante tres meses, y solo después decide. Quien compra GPU antes de tener el proceso funcionando normalmente termina con una máquina cara sirviendo de calefactor.

Cómo probar sin gastar nada

Se puede experimentar antes de decidir. Paso a paso resumido:

1. Elige una tarea aburrida y repetitiva. La más tediosa de tu día. Triaje, clasificación, extracción de datos.
2. Córrela en la API por 30 días. Anota cuántas llamadas, cuánto costó, cuántas veces el resultado salió mal.
3. Instala un modelo local gratis (Ollama corre en Mac o Windows, es instalar y usar) y pásale las mismas tareas del mes anterior.
4. Compara lado a lado. No solo aciertos. Mira velocidad y cuánto trabajo humano ahorró cada opción.
5. Decide con números. Si el local acierta cerca de lo que acierta la API y el volumen es alto, la cuenta cierra. Si falla bastante más, quédate en la API.

Esa prueba lleva un mes y no cuesta casi nada. Es infinitamente mejor que decidir por un post de LinkedIn.

Qué señala esto sobre los próximos dos años

Modelos como el Muse Glimmer apuntan una dirección: la IA está bajando del centro de datos al piso de fábrica. No porque se haya vuelto más tonta, sino porque quedó lo bastante eficiente para caber en lugares más pequeños.

Para ti, dueño de negocio, el recado práctico es este: deja de pensar en "cuál IA usar" como una elección única. Va a ser una mezcla. Modelo pequeño y local para el volumen, modelo grande y caro para lo difícil. Igual que ya haces con la gente: no toda tarea va al empleado más sénior.

Quien organice esto ahora sale adelante. No por la tecnología en sí, sino porque va a entender su propio proceso lo bastante bien para saber qué es volumen y qué es excepción. Esa claridad vale más que cualquier modelo.

Si tienes un proceso repetitivo consumiendo horas de gente buena y quieres entender si se puede automatizar, cuéntame qué te está trabando. Hago un diagnóstico honesto, incluso cuando la respuesta es "esto no necesita nada de IA".

Abrí la factura de la API de IA de un cliente y el susto no vino de un proyecto grande. Vino de un robotito que lee correos todo el día.

4 mil lecturas por mes, unos centavos cada una. Saca la cuenta.

La solución que nadie comenta no es cambiar de modelo. Es dividir el trabajo: modelo pequeño corriendo en local se lleva el volumen repetitivo, modelo grande y caro entra solo en lo que es difícil de verdad.

Hice esto en un e-commerce el año pasado. La cuenta de API bajó casi un 70% y el cliente no notó diferencia en la calidad.

Pero sé honesto antes de comprar GPU: si tu volumen es bajo, quédate en la API. Ya vi máquinas de cinco mil dólares convertidas en calefactores caros.

¿Tienes un proceso repetitivo comiéndose horas de gente buena? Escríbeme y te digo si vale la pena automatizar, incluso cuando la respuesta es "esto no necesita nada de IA".

#InteligenciaArtificial #Automatizacion #GestionDeCostos #TransformacionDigital