Confiar demasiado en la IA: la lección del Pentágono para tu SaaS

¿Conoces ese informe que generó la IA, al que le echaste un vistazo, te pareció bonito y se lo mandaste al cliente sin revisar? Pues eso. Confiar demasiado en la IA es un hábito que empieza pequeño y crece sin que nadie lo note. Esta semana apareció el ejemplo más grave que se pueda imaginar.

Según un reportaje de Bloomberg, el Pentágono reconoció que la dependencia excesiva de la inteligencia artificial contribuyó a un ataque con misil que alcanzó una escuela en Irán. No voy a entrar en la geopolítica. No es mi campo y no es el tema aquí. Lo que me interesa es el mecanismo detrás del error, porque es exactamente el mismo que veo en empresas que usan IA en el día a día.

Qué pasó, en términos simples

Una organización con los recursos más caros del planeta, con gente entrenada y protocolos estrictos, dejó que una decisión crítica se apoyara demasiado en lo que decía el sistema. En algún punto de la cadena, la recomendación de la máquina se volvió verdad sin el cuestionamiento que debería haber llegado.

Esto tiene nombre. Los investigadores lo llaman sesgo de automatización: la tendencia a aceptar lo que dice un sistema automático, incluso cuando hay señales de que algo está mal. Cuanto más acierta el sistema, más nos relajamos. Y cuanto más nos relajamos, más caro sale el error cuando por fin ocurre.

La idea que quiero que te lleves de aquí: si esto pasa en un lugar con ese nivel de control, también pasa en tu empresa. Solo que con consecuencias mucho menores, y justamente por eso nadie lo nota.

Por qué es tan fácil confiar demasiado en la IA

La IA moderna tiene un problema de presentación. Se equivoca con la misma seguridad con la que acierta.

Un practicante inseguro dice "creo que es esto, pero revísalo". Un modelo de lenguaje entrega un texto limpio, con buen formato y tono de experto. Aunque se haya inventado la mitad.

Súmale a eso tres cosas muy humanas:

• Prisa. La IA existe para ahorrar tiempo. Revisar parece deshacer esa ganancia.
• Buen historial. ¿Acertó las últimas 50 veces? La 51 pasa directo.
• Dilución de la responsabilidad. "Fue el sistema el que lo sugirió." Nadie se siente dueño de la decisión.

Ninguna de estas es tontería. Es cansancio, rutina e incentivos equivocados. Por eso el problema no se resuelve pidiendo a la gente que "preste más atención". Se resuelve con procesos.

La IA no le quita la responsabilidad a nadie. Solo hace más fácil olvidar de quién es.

Dónde aparece esto en un SaaS de verdad

Voy a bajarlo a tierra. Estos son casos que ya vi o que salen seguido en conversaciones con clientes.

Clasificación de soporte. Un SaaS de gestión usa IA para clasificar tickets por urgencia. Funciona bien. Hasta que un cliente grande escribe "no puedo emitir la factura" de forma educada y tranquila, y la IA lo marca como prioridad baja. El ticket se queda dos días en la cola. El cliente cancela.

Análisis de crédito o riesgo. Un sistema de cobranza usa un modelo para sugerir a quién bloquear por morosidad. El modelo aprendió con datos antiguos y bloquea a un cliente que acababa de renegociar. El equipo financiero aprueba en lote, porque son 300 casos por semana y "el sistema ya filtró".

Respuestas automáticas. Un chatbot responde dudas sobre planes y precios. Un día se inventa un descuento que no existe. Ahora tienes una captura de pantalla circulando y un cliente exigiendo la promesa.

Haz la cuenta rápida. Si tu IA acierta el 97% de las veces y procesa 2.000 casos al mes, son 60 errores. Cada mes. La pregunta no es si se equivoca. Es cuáles de esos 60 errores salen caros y si alguien los está mirando.

Cuándo la IA puede decidir sola (y cuándo no)

Aquí va mi opinión firme: la mayoría de las empresas pone la revisión humana en el lugar equivocado. Revisa lo que es barato y deja pasar lo que es caro.

Una forma simple de separarlo es hacerse dos preguntas sobre cada tarea:

1. ¿El error es reversible? Un email de marketing con una coma mal puesta, sí. Un bloqueo de cuenta, un reembolso negado o un cobro indebido, mucho menos.
2. ¿Quién sufre el error? Si eres solo tú, internamente, se puede tolerar más. Si es el cliente, el costo sube de inmediato.

¿Error reversible e interno? Deja que la IA trabaje sola y revisa por muestreo. ¿Error difícil de deshacer o que afecta al cliente? La IA sugiere y una persona decide. Así de simple.

El Pentágono estaba en el peor cuadrante posible: error irreversible, con víctimas reales. Tu SaaS probablemente nunca va a llegar ni cerca de eso. Pero el cuadrante de "irreversible y afecta al cliente" existe en cualquier negocio. Y suele ser justo donde se puso la automatización primero, porque es donde había más volumen.

Cómo usar IA en tu SaaS sin perder el control

No estoy diciendo que abandones la IA. Trabajo con esto todos los días y creo que la empresa que ignore la IA se va a quedar atrás. La idea es diseñar bien su uso. En la práctica, esto es lo que suelo armar:

Deja que la IA muestre sus dudas. En vez de solo "urgente" o "no urgente", pide un nivel de confianza. Todo lo que esté por debajo de un límite va a revisión humana. Eso reduce el volumen de revisión y se enfoca en lo que importa.

Pon un freno en los puntos caros. Bloqueo, reembolso, promesa comercial, cambio de plan. En esos puntos la IA prepara todo y una persona aprieta el botón. Toma 20 segundos. Te ahorra semanas de dolores de cabeza.

Revisa por muestreo, aunque todo vaya bien. Separa 20 casos al azar por semana y revísalos. Es la única forma de notar que la calidad bajó antes de que lo note el cliente.

Registra quién aprobó. Parece burocracia. No lo es. Cuando cada decisión tiene un nombre al lado, la gente vuelve a leer lo que aprueba. Es curioso cómo funciona.

Limita lo que el chatbot puede prometer. Precio, plazo, descuento y política de cancelación deben salir de una fuente fija, no de la creatividad del modelo. La IA creativa es genial para el borrador de un post. Para la tabla de precios, prefiere la IA más aburrida posible.

El costo de no hacer nada

Una respuesta que escucho mucho: "pero hasta ahora no ha dado problemas". Eso es exactamente lo que hace peligroso al sesgo de automatización. No da señales. El sistema funciona, funciona, funciona, y el día que falla es el día en que nadie estaba mirando, porque todos habían aprendido que no hacía falta mirar.

No necesitas un comité de ética en IA ni una consultoría de seis meses. Necesitas unas pocas preguntas antes de encender la automatización: dónde se equivoca, cuánto cuesta ese error y quién lo revisa. Eso cabe en una reunión de una hora.

Si ya tienes IA funcionando en tu producto o en tu operación y no sabes decir dónde están esos puntos de freno, vale la pena parar y mapearlos. Es el tipo de trabajo que hago con empresas que quieren automatizar sin quedar a merced del sistema. Si quieres entender cómo trabajo, echa un vistazo a quién soy.

El Pentágono reconoció que confiar demasiado en la IA contribuyó a un ataque que alcanzó una escuela en Irán.

No voy a hablar de geopolítica. Me interesa el mecanismo, porque es el mismo que veo en empresas todos los días: la IA acierta 50 veces y en la 51 ya nadie revisa.

La IA se equivoca con la misma seguridad con la que acierta. Y "fue el sistema el que lo sugirió" no le quita la responsabilidad a nadie.

Si acierta el 97% en 2.000 casos al mes, son 60 errores. La pregunta es cuáles de ellos salen caros y quién los está mirando.

Mi regla: si el error es reversible e interno, la IA trabaja sola. Si es difícil de deshacer o afecta al cliente, la IA sugiere y una persona decide.

Escribí sobre cómo poner estos puntos de freno en tu SaaS sin perder lo que ganas con la automatización. El enlace está en los comentarios.

#InteligenciaArtificial #SaaS #Automatizacion #GestionDeRiesgos #Tecnologia