La IA más peligrosa es la que casi nunca se equivoca
Si una herramienta de IA fallara todos los días, nadie confiaría en ella. El problema aparece cuando empieza a acertar. Acierta una vez, diez, cien, y en algún momento quien revisa deja de hacerlo con cuidado. Le echa un vistazo, ve que todo luce bien y aprueba. Ese día pasa el error.
Pasó en Nueva York en 2023. Dos abogados presentaron ante un tribunal federal un escrito con casos judiciales que no existían. Los había generado ChatGPT, con nombres, fechas y citas que parecían reales. El juez los sancionó por firmar sin verificar.
Lo que me interesa de este caso no es el error de la herramienta. Es que uno de ellos llevaba unos treinta años ejerciendo y no sintió la necesidad de comprobar nada. La experiencia no protege contra este error. A veces lo facilita, porque quien ha visto mucho confía más en su intuición de que algo “suena bien”.
Por qué dejamos de revisar
Esto tiene nombre en la investigación: sesgo de automatización. Raja Parasuraman y Dietrich Manzey, dos investigadores que estudiaron durante años cómo las personas supervisan sistemas automáticos, encontraron un patrón consistente. Mientras más confiable parece un sistema, menos atención le prestamos, y esto les pasa tanto a principiantes como a expertos. La práctica, por sí sola, no lo corrige. La confianza no es un defecto de carácter. Es una forma en que el cerebro ahorra esfuerzo.
Hay un experimento de 1948 que lo explica bien. Norman Mackworth pidió a operadores de radar de la Fuerza Aérea británica que vigilaran un reloj y avisaran cuando la aguja diera un salto doble, algo que pasaba pocas veces. A la media hora, la cantidad de saltos que detectaban ya había caído de forma notable. Mientras más raro es el error, más difícil es verlo.
Con la IA pasa exactamente eso. Una herramienta que acierta casi siempre nos pone en la situación del operador de Mackworth: esperando un error que casi nunca aparece.
La aviación lo vivió antes que nadie. El piloto automático vuela con más precisión que cualquier persona, y los pilotos empezaron a delegar demasiado. En 2013 la FAA, la autoridad de aviación de Estados Unidos, emitió una alerta pidiendo a las aerolíneas que sus tripulaciones volaran más a mano, porque estaban perdiendo práctica para tomar el control cuando el sistema fallaba.
El riesgo que casi nadie menciona
Se habla mucho de mantener a un humano en el circuito, lo que en inglés llaman human in the loop. Lo aplico en todo mi trabajo. Pero tiene un lado incómodo.
La investigadora Madeleine Clare Elish lo llamó moral crumple zone, que se podría traducir como zona de deformación moral, por la parte del auto que se aplasta para absorber el golpe. Cuando un sistema automático falla, la culpa termina en el humano que estaba “a cargo”, aunque en la práctica no tenía tiempo, información ni preparación para detectar el error.
En una empresa pasa así: se le pide a alguien que apruebe cuarenta reportes al día generados con IA. Formalmente hay un humano en el circuito. En la realidad, esa persona es el lugar donde va a caer la culpa.
Por eso, para mí, la pregunta no es si hay un humano revisando, sino si ese humano tiene condiciones reales para encontrar el error.
Cómo lo aplico
Lo aprendí mucho antes de que existiera la IA, preparando presupuestos y cierres: un número que nadie verificó termina, tarde o temprano, en una mala decisión. Hoy lo organizo en cuatro criterios.
El primero es que el nivel de revisión depende de lo que está en juego. Un resumen interno de tendencias se puede revisar por muestreo. Una proyección que va a justificar un préstamo, una contratación o una inversión se revisa completa, cifra por cifra, contra la fuente original. Y hay decisiones que la IA nunca toca: aprobar pagos, decidir créditos o comprometer capital.
El segundo es que quien revisa tiene que saber más que la herramienta en ese tema. Un revisor que no entiende el análisis no puede detectar el error, solo lo firma. Y tiene que tener tiempo: si alguien revisa en un minuto lo que debería tomarle veinte, esa revisión no es real.
El tercero es sembrar errores. Cada cierto tiempo introduzco a propósito una cifra equivocada o un supuesto sin sentido en un informe preparado con IA, y veo si alguien lo detecta. Es lo que hacen los simuladores de vuelo cuando provocan una falla. Si el error pasa, sé que el problema no es la herramienta sino el proceso. El objetivo no es atrapar a nadie, es medir si el control funciona.
El cuarto es llevar la cuenta de las correcciones y, de vez en cuando, hacer el trabajo a mano. Si en tres meses nadie le ha corregido nada a la IA, lo más probable es que nadie la esté leyendo. Y si el equipo deja de hacer el análisis por su cuenta, pierde el criterio para darse cuenta cuando algo está mal. Es la misma lógica de la FAA con el vuelo manual.
Lo que esto cuesta
Todo esto tiene un precio: revisar bien toma tiempo y le quita parte de la velocidad que prometía la IA. Hay quien prefiere no pagarlo. Mi experiencia es que el ahorro de tiempo de la IA solo es real si se descuenta el costo de los errores que deja pasar. Un informe que se preparó en cinco minutos y llevó a una mala decisión fue el más caro de todos.
En el Método Prevuelo™ lo resumo con la regla de la cabina: la tecnología ayuda a volar, pero el capitán sigue al mando y tiene que seguir sabiendo volar.
Si en tu empresa ya usan IA, vale la pena preguntarse cuándo fue la última vez que alguien le encontró un error. Si nadie lo recuerda, el problema probablemente no está en la herramienta.
Índice MR³
Antes de tu próxima decisión grande, mide cómo está tu empresa en 5 minutos.