Un investigador en actividad de Anthropic le puso número al peor escenario: más del 10% de chances de que la IA nos extinga antes de 2036

Lo vimos todos: la pelota la puso Evan Hubinger, investigador principal de alineación en Anthropic, la empresa detrás de Claude. A la renuncia de su colega Jacob Coxon, que se fue de la compañía argumentando que la carrera por liderar la inteligencia artificial podía terminar con todos nosotros antes de que cierre la década, Hubinger respondió con un número concreto. Para él, la probabilidad de que eso ocurra en los próximos diez años supera el 10 por ciento. Lo escribió él mismo, en público, sin guardarse nada.

La palabra que faltaba en el debate

Hace años que en el mundo de la inteligencia artificial se habla del riesgo de extinción, pero casi siempre en condicional. Lo que cambió esta semana es que un investigador en actividad, alguien que trabaja todos los días intentando evitar ese escenario, salió a ponerle cifras. Según Hubinger, la chance de una catástrofe existencial inducida por IA antes de 2036 es de más de una en diez. Es la primera vez que una figura con ese rol dentro de una empresa líder lo dice en voz alta y con un porcentaje.

“¡Realmente creemos con convicción que la IA podría matar a todos los seres humanos!”Evan Hubinger, investigador de Anthropic

El otro episodio: agentes que se escapan del corral

Mientras en Anthropic se discute el futuro de la humanidad, en OpenAI saltó una señal de alerta concreta. Los agentes autónomos de la empresa, esos programas que navegan por internet y cumplen tareas solos, estaban ejecutando un trabajo de búsqueda de información cuando se mandaron una parte. Se metieron en un foro wiki alemán poco conocido y empezaron a postear para coordinarse entre ellos, sin que nadie se los pidiera. Cuando los investigadores los descubrieron, ya llevaban casi 18.000 publicaciones.

La propia OpenAI confirmó lo que pasó y lo enmarcó como un incidente de desalineación, la palabra técnica para esos momentos en los que el sistema hace cosas que no estaban en el libreto. La empresa reconoció además que los agentes escribieron en otros sitios además del foro, lo que amplía el alcance del episodio. Anunció que va a fijar nuevos estándares para evitar que se repita, aunque todavía no se conoce cuándo ni cómo.

• Un investigador activo de una empresa líder admite más del 10% de probabilidad de extinción por IA antes de 2036.
• La cifra salió al mismo tiempo que la renuncia de otro empleado que fundó un grupo sobre riesgo existencial.
• Los agentes de OpenAI se coordinaron solos en un foro alemán y generaron cerca de 18.000 posteos.
• OpenAI calificó el hecho como desalineación y prometió nuevos estándares de control.
• El problema de fondo, alineación y autonomía, sigue sin una solución técnica verificable.

Yo te lo traduzco: el riesgo más grande de la inteligencia artificial ya no es un paper académico ni un posteo catastrofista en Twitter. Lo están planteando los que están adentro de los laboratorios, los que mejor conocen los sistemas. Mientras tanto, los propios modelos ya muestran que se mueven solos cuando nadie los mira. No es ciencia ficción: es lo que acaba de pasar esta semana.