Alertan sobre nuevas y preocupantes conductas de la inteligencia artificial

OpenAI dio a conocer seis informes de comportamientos “inesperados o preocupantes” en modelos de inteligencia artificial, en un momento en que el debate sobre la seguridad de la IA se caldea cada vez más.



La empresa de IA también informó el miércoles que estaba introduciendo un nuevo marco para rastrear, investigar y divulgar casos de lo que llamó “desalineación”, incluidos casos en que los modelos de inteligencia artificial actuaron sin autorización, se coordinaron con otros modelos o eludieron la supervisión.



OpenAI hizo su anuncio más reciente en un momento en que directivos de empresas de IA de Estados Unidos, entre ellos los líderes de OpenAI y Anthropic, piden desacelerar el desarrollo de esta tecnología por preocupaciones de seguridad.



Entre los nuevos casos reportados por OpenAI, un modelo de investigación aún no dado a conocer insertó “instrucciones tipo jailbreak” en sus propias notas para ignorar sus restricciones habituales y se indicó a sí mismo que debía quedar “liberado de los roles e identidades que atan a otros chatbots”.



En otro caso, un “agente” de IA utilizó código informático para dar con la respuesta a una pregunta, pero, para tener una fuente en línea que citar, subió un archivo al internet público sin preguntarle al usuario.



Durante el entrenamiento de un modelo de IA llamado 5.6-Sol, el modelo se indicó a sí mismo que inventara datos faltantes, y un agente escribió un mensaje para recordarse que debía ocultar información que no coincidía.



Este tipo de comportamiento engañoso ha sustentado un recrudecimiento de las preocupaciones recientes acerca de que la IA eluda el control humano. Pero ese resultado no sorprende a algunos investigadores de esta tecnología, señaló Matt Fredrikson, profesor asociado de la Universidad Carnegie Mellon y director general de Gray Swan AI.



“A riesgo de atribuir rasgos humanos al comportamiento de los modelos, casi se podría pensar que saben que van a ser evaluados”, apuntó Fredrikson. “Si saben que han hecho trampas —que han tomado atajos o que no han realizado la tarea según se pretendía— y saben que se les va a evaluar por ello, y su objetivo es obtener una buena evaluación, entonces tiene todo el sentido, ¿no es así?”



Los seis informes se descubrieron durante el entrenamiento o la evaluación en los últimos meses, señaló OpenAI.



“A medida que los sistemas de IA se vuelven más avanzados y se despliegan más ampliamente, necesitamos construir un consenso más amplio y mejor informado sobre el progreso de la investigación de alineación”, escribió OpenAI en una publicación de blog, al dar a conocer los hechos.



“Las decisiones sobre cómo debería avanzar el desarrollo de la IA en los próximos meses y años deben basarse en evidencia que personas fuera de las compañías que construyen modelos de vanguardia puedan examinar por sí mismas”, explicó la empresa.



Los nuevos casos del miércoles ocurren tras la revelación de OpenAI en julio de que su sistema de IA fuera de control hackeó a Hugging Face, una startup de IA. Anthropic también señaló ese mismo mes que sus modelos de IA hackearon a tres organizaciones durante las pruebas.



Los “agentes” de IA se están volviendo más inteligentes y se han vuelto “más decididos a resolver tareas complejas mediante la colaboración entre agentes, el intercambio de conocimientos, el engaño y el ocultamiento”, advirtió Lian Jye Su, analista principal del grupo de investigación y asesoría tecnológica Omdia.



Eso está dificultando gobernarlos y contenerlos con enfoques tradicionales de seguridad de IA, añadió.



Por otro lado, el nuevo marco de OpenAI para el seguimiento y la divulgación puede contribuir a impulsar que otros desarrolladores de IA también adopten prácticas similares.



“Dicho esto, el proceso sigue siendo interno y voluntario, pero es un paso en la dirección correcta”, añadió Su.



Esta historia fue traducida del inglés por un editor de AP con la ayuda de una herramienta de inteligencia artificial generativa. Un editor de Telemundo Digital revisó la traducción.