¿Es capaz de inventar?: por qué la IA puede «alucinar» y cómo evitar que lo haga

La Inteligencia Artificial Generativa ha llegado para quedarse y es por esto, que se necesitan tomar medidas para que esta no entre en “estado de alucinación” y comience a tomar malas decisiones por sí misma, dentro del sistema de una empresa u organización. Existen acciones preventivas para evitar este fenómeno, que es y será muy común cuando se trabaja con este tipo de tecnología al servicio de las personas y empresas.

Santiago, febrero de 2024. Que las máquinas van a controlar el mundo es un temor que ciertas personas tienen, más ahora con el notable avance de la inteligencia artificial (IA). Miedos que se pueden hacer reales cuando esta tecnología, aparentemente, se vuelve autónoma y empieza a “alucinar”.

Y es que no son pocos los casos en que la tendencia de los sistemas generativos de IA comienzan a imaginar o simplemente inventar cosas. Esto puede ser bastante peligroso, como descubrió una cadena de supermercados de Nueva Zelanda cuando un bot recomendó a un cliente que hiciera una «mezcla de agua aromática» que habría producido gas cloro.

Otros casos frecuentes tienen que ver con abogados también, quienes han aprendido a ser cautelosos con las salidas de los modelos generativos de IA, dada su capacidad para inventar casos completamente ficticios, tal como fue el caso del rapero “Pras” Michell, ex miembro de los Fugees, quien fue declarado culpable de 10 cargos en su juicio por conspiración, que incluyen obstrucción de testigos, falsificación de documentos y actuar como agente extranjero no registrado, siendo que evidentemente era inocente de los cargos.

Entonces, ¿Qué es o qué significa la alucinación de la inteligencia artificial generativa? Alucinar es cuando la IA, simplemente inventa cosas en base a la información que se le entrega o que por sí misma busca. “Hay que entender que estos modelos no están hechos para decir la verdad, sino que están para autocompletar la siguiente palabra más probable utilizando todo lo que saben. Entonces, cómo funcionan de esa manera, ellos haciendo sus cálculos, te pueden dar una respuesta que no es necesariamente verídica, pero sí que hace sentido en cuanto a contenido y gramática. A veces no es un contenido real pero sí tiene sentido para el contexto de la pregunta”, señala Camilo López, CEO de Adereso.

Incluso en empresas que utilizan y dan servicios con herramientas a través de esta tecnología, podemos encontrar casos de alucinación, de los cuales  se desprenden ciertas categorías que generan una confusión y se llega a sesgos en torno a la información que maneja la IA: generación de contenidos falsos o fake news – por muy real que parezca-, traducciones imprecisas e incluso errores en asistentes virtuales. “Si bien este problema está resuelto por el equipo de Adereso, no estuvimos exentos de problemas cuando comenzamos las primeras pruebas. Un ejemplo concreto es que nosotros estábamos experimentando con descripción de políticas de devolución de paquetes de una tienda de retail, y la IA te daba una serie de acciones a concretar y al último te decía que te metieras en la url/devoluciones y esta nunca existió. Por el afán de autocompletar algo que tiene sentido, a veces la Ia incurre en estos errores” agrega, Camilo López a modo de ejemplo.

Ante este escenario, ¿Cómo hizo el equipo de Adereso para defenderse de las alucinaciones? “Hay varias técnicas, pero una de las cosas que primero hacemos es ingeniería en prompts. Básicamente, vamos guiando a la inteligencia artificial a que haga algunas reflexiones respecto a lo que va a responder. Además, rodeamos a la inteligencia artificial, ponemos una barrera basada en documentación, podemos cargar archivos en formato PDF, Excel Word y lo que hacemos nosotros es que le vamos a ir pidiendo la inteligencia artificial que reflexione sobre si la respuesta que está dando está estrictamente contenida en la documentación que está en su base de entrenamiento. Así vamos a eliminar casi el cien por ciento de todas las alucinaciones, permitiendo que esta inteligencia artificial sea segura de usar en producción. Hacemos que la IA se limite a los documentos que el cliente nos entrega”, concluye López.

El desafío de acercar la IA Generativa a los equipos que incursionan en esto

Ya existen empresas tecnológicas o startups que se están enfocando en este dilema, las cuales se encuentran creando el acceso a la inteligencia artificial generativa para áreas no técnicas. Mientras muchas empresas inician proyectos desde cero con APIs de OpenAI, otras tienen a equipos enteros dedicados un año o más al desarrollo real. Sin embargo, hay casos en que las iniciativas de IA en empresas líderes de cualquier industria se encuentran limitadas  en la adopción, debido a la saturación del área por falta de especialistas en IA.

La IA generativa todavía tiene un largo camino por recorrer cuando se trata de información no ficticia confiable. Eso está bien, siempre y cuando la usemos como una herramienta para mejorar las capacidades humanas en lugar de imaginarla como un agente que puede reemplazar todo el poder de procesamiento humano. El desafío está en que los programadores y los que no lo son, puedan poner límites para que no ocurran estos fenómenos, a veces, dignos de una película de ciencia ficción.