¿Y si la IA dice cualquier cosa? Cómo evitamos que un agente alucine en producción
Corentin Pinelcofundador13 de junio de 20266 min de lecturaTL;DR
Un modelo de lenguaje siempre responde, aunque no sepa. La alucinación no es una fatalidad del modelo: es un problema de diseño. Con cinco palancas concretas, anclar en tus datos, permitir el "no sé", cerrar el perímetro, poner un humano en los casos de riesgo y registrar todo, el riesgo pasa de "cualquier cosa" a algo controlado.
Un modelo de lenguaje siempre responde. Esa es justo la trampa. No tiene un botón interno que diga "no sé". Si no le pones reglas, va a inventar una respuesta con la misma seguridad con la que da una correcta.
A eso le llamamos alucinación. Y casi siempre que veo un agente alucinar en producción, el problema no está en el modelo. Está en cómo lo diseñamos.
La alucinación es un problema de diseño, no una fatalidad
La idea que quiero que te lleves es simple: un agente que inventa es un agente mal cercado.
El modelo no sabe lo que sabe tu empresa. Sabe lo que vio durante su entrenamiento, mezclado, sin fecha, sin fuente. Si le preguntas por tu política de devoluciones y nunca se la diste, va a producir algo que suena a política de devoluciones. Plausible, bien redactado, y falso.
Por eso no peleo contra el modelo. Trabajo el entorno alrededor del modelo. Y ahí sí tengo palancas concretas.
Te las explico una por una. Ninguna es magia. Juntas, bajan el riesgo de "cualquier cosa" a algo que se puede manejar.
Palanca 1: anclar el agente en TUS datos, no en su memoria
La primera regla: el agente no debe responder de cabeza. Debe responder de tus documentos.
La técnica se llama recuperación documental (en inglés, RAG). El principio es fácil de entender. Antes de contestar, el agente busca en tus fuentes (tu base de conocimiento, tus PDFs, tu catálogo, tus procedimientos) los fragmentos que tienen que ver con la pregunta. Le pasamos esos fragmentos al modelo. Y le pedimos que responda solo con eso.
La diferencia es enorme. Sin esto, el agente improvisa con su memoria difusa. Con esto, lee tu texto y lo resume.
Una ventaja que la gente subestima: puedes pedirle que cite de dónde sacó cada cosa. "Según el documento X, sección Y." Cuando un agente cita su fuente, dos cosas pasan. El usuario puede verificar. Y tú detectas rápido cuando algo no cuadra.
Honestidad: esto funciona si tus datos están limpios. Si tu base de conocimiento está desordenada, contradictoria o vieja, el agente va a recuperar basura y a resumir basura. El trabajo aburrido de ordenar tu información es la mitad del proyecto. No hay atajo.
Palanca 2: darle permiso de decir "no sé"
Un modelo, por defecto, prefiere inventar antes que callarse. Hay que reprogramar ese reflejo.
En las instrucciones del agente escribimos algo explícito. Si la respuesta no está en las fuentes recuperadas, no la inventes. Di que no tienes la información. Y, si corresponde, pasa la conversación a un humano.
Suena obvio. Casi nadie lo hace bien la primera vez.
Porque hay que probarlo con preguntas trampa. Cosas fuera de tu dominio, datos que no existen, casos límite. Y verificar que el agente realmente responde "no tengo ese dato" en vez de improvisar. Un agente que sabe decir "no sé" vale más que uno que parece saberlo todo.
Palanca 3: un perímetro cerrado
Mientras más amplio el agente, más inventa. Es matemático.
Por eso defino un perímetro. El agente responde sobre lo que lo autorizamos a tratar, y nada más. Un agente de soporte de tu producto no opina sobre la competencia, ni da consejos legales, ni improvisa sobre temas que no son suyos. Cuando algo cae fuera, lo dice y redirige.
Esto no es solo seguridad. Es calidad. Un agente especializado en tres cosas las hace bien. Un agente que pretende hacer todo las hace todas a medias, y en los bordes, alucina.
Cerrar el perímetro también protege de los desvíos. La gente prueba los agentes. Les piden recetas de cocina, opiniones políticas, que escriban un poema. Un agente bien cercado contesta, con buena onda, que ese no es su tema.
Palanca 4: un humano en los casos de riesgo
Aquí está la pregunta que cambia todo el diseño: ¿cuál es el costo de un error?
Si tu agente sugiere un artículo de blog equivocado, no pasa gran cosa. Si confirma un reembolso que no corresponde, o da una indicación sobre un tema sensible, el costo es real.
Entonces mapeo los casos. Donde un error es barato, el agente actúa solo. Donde un error es caro, el agente prepara la respuesta pero un humano valida antes de que salga. O directamente pasa el caso a una persona.
A eso le llamamos humano en el bucle. No es admitir que la IA falla. Es decidir, a conciencia, dónde la automatización total tiene sentido y dónde no. Un buen agente sabe cuándo le toca dar un paso al costado.
Palanca 5: registrar todo y probar antes de producción
Lo que no se mide, no se controla.
Cada conversación del agente queda registrada. Pregunta, fuentes recuperadas, respuesta. Así, cuando algo sale mal, no adivinamos. Abrimos el registro, vemos exactamente qué recuperó y qué contestó, y entendemos por qué.
Y antes de poner nada en producción, probamos con casos reales. No con preguntas de manual, bonitas y previsibles. Con las preguntas raras, mal escritas, ambiguas, que de verdad mandan tus clientes. Ahí es donde un agente se rompe. Mejor que se rompa en tu prueba que delante de un cliente.
Este es el trabajo menos vistoso del proyecto. También es el que separa un agente que aguanta de una demo que se cae a la primera pregunta de la vida real.
El riesgo cero no existe (y desconfía de quien te lo prometa)
Voy a ser directo. Ninguna de estas palancas lleva el riesgo a cero.
Un agente bien diseñado puede seguir equivocándose en un caso raro. La meta no es la perfección. La meta es un riesgo controlado: que los errores sean poco frecuentes, poco graves, detectables, y que el agente sepa decir "esto se lo paso a un humano" cuando duda.
Si alguien te promete una IA que nunca se equivoca, está vendiendo, no construyendo.
Y aquí vuelve nuestro reflejo de siempre: depende de tu uso. El nivel de barreras tiene que ir con lo que está en juego.
Un asistente que responde preguntas frecuentes sobre tus horarios necesita pocas barreras. Si se equivoca, das mal un horario, lo corriges, sigues. Un agente que toca dinero, datos personales o decisiones con consecuencias necesita todo lo contrario: perímetro estrecho, validación humana, registro fino, pruebas duras.
No se ponen las mismas barreras en los dos casos. Sería caro de más en uno, peligroso de menos en el otro. La pregunta correcta nunca es "cómo evito toda alucinación". Es "qué pasa si mi agente se equivoca aquí, y cuánto cuesta ese error".
Esa respuesta define cuánta ingeniería de seguridad necesitas. Y esa es una conversación que vale la pena tener antes de construir, no después. Si quieres revisar tu caso con nosotros, escríbenos. Pero la pregunta de fondo, la que decide todo, es tuya: en tu uso, ¿cuánto cuesta un error?