Se reaviva el debate sobre los riesgos de la Inteligencia Artificial para la humanidad

Nuevas advertencias desde dentro de la industria de la inteligencia artificial han reavivado un antiguo debate sobre si una IA avanzada podría escapar al control humano y, en última instancia, amenazar la supervivencia de la humanidad, y sobre si las empresas que desarrollan la tecnología están haciendo lo suficiente para evitar esa situación.



El director ejecutivo de Anthropic, la empresa de San Francisco responsable de Claude, afirmó que creía que la industria necesitaba reducir la velocidad de su trabajo, y advirtió el sábado que un enjambre de agentes de IA podría tener la capacidad de apoderarse de internet en un plazo de seis meses a un año, a menos que las compañías dedicaran más tiempo a implementar salvaguardas.



Dario Amodei expuso un plan para que empresas como la suya y gobiernos de todo el mundo garanticen que los modelos de IA, cada vez más capaces, sigan alineados con las órdenes y los valores de personas responsables, días después de que dos exinvestigadores de seguridad de Anthropic expresaran públicamente su preocupación de que las amenazas existenciales que la IA podría representar para la humanidad estaban recibiendo muy poca atención.



Esto es lo que hay que saber sobre las recientes predicciones alarmantes y sobre si podría ponerse algún freno al avance de la IA:



Los modelos de IA se están volviendo más potentes



La preocupación por los riesgos potenciales de la tecnología está aumentando a medida que los nuevos modelos de IA se vuelven más potentes, lo que incrementa tanto el potencial de uso indebido por parte de personas con fines delictivos —como crear y propagar una enfermedad que mate a la mayor parte de la población mundial— como el riesgo de que los sistemas de IA se descontrolen de manera peligrosa.



Anthropic reveló la semana pasada que bloqueó intentos de actores malintencionados de usar sus modelos de IA para actividades dañinas, como ciberataques, vigilancia e investigaciones que podrían haber derivado en armas biológicas.



La empresa indicó que incorporó salvaguardas más fuertes en sus modelos más recientes para restringir la investigación biológica que podría utilizarse para fabricar armas, pero señaló que “a medida que los modelos se vuelvan cada vez más capaces, sus riesgos aumentarán, a menos que los desarrolladores de IA y los defensores de la sociedad actúen para hacerlos más seguros”.



El año pasado, Anthropic informó que piratas informáticos utilizaron la IA de la empresa en un ciberataque dirigido contra unas 30 compañías y agencias gubernamentales de todo el mundo. Señaló que era muy probable que los hackers pertenecieran a un grupo patrocinado por el estado chino.


















Inteligencia artificial

Hace 22 horas




Trump tacha de "fuerzas negativas" a quienes piden regular la Inteligencia Artificial

















Tecnología

Hace 13 horas




Líderes tecnológicos alertan sobre riesgos de la IA; Trump rechaza frenar su desarrollo








Varios modelos de IA han actuado por su cuenta



Cuando un agente de IA “se descontrola”, significa que la IA ha realizado una acción más allá de la tarea que se le pidió. Tanto Anthropic como OpenAI, el creador de ChatGPT, informaron en julio que sus modelos de IA habían logrado actuar por su cuenta.



Anthropic dio a conocer que tres modelos de IA —Claude Opus 4.7, Claude Mythos 5 y un modelo interno de prueba de investigación— hackearon a otras tres organizaciones durante pruebas, apenas unos días después de que OpenAI revelara que su sistema de IA hackeó los servidores de la startup de IA Hugging Face.



OpenAI describió la intrusión por una combinación de modelos, incluidos su recién lanzado GPT‑5.6 Sol y un modelo “aún más capaz” que todavía se estaba probando internamente, como un “incidente de seguridad significativo”.



Meta tuvo otro incidente a principios de agosto con un caso similar de un modelo de IA que encontró maneras de eludir la seguridad digital de otra empresa.



Aunque algunos observadores señalaron que en los casos de OpenAI y Anthropic algunas barreras de protección habían sido desactivadas por personas, los episodios parecieron reflejar uno de los mayores temores en torno a la IA: que, si los modelos alcanzan la inteligencia artificial general, o IAG, un término definido de manera imprecisa para referirse a una IA que puede igualar o superar las capacidades humanas en una amplia gama de tareas intelectuales, la tecnología