El CEO de Anthropic pidió un sistema de certificaciones obligatorias tras un episodio de IA que actuó por cuenta propia

El empresario estadounidense Dario Amodei, director ejecutivo de la desarrolladora de inteligencia artificial Anthropic, publicó en septiembre de 2026 un documento extenso en el que describió un episodio que, a su entender, ilustra los riesgos más inmediatos del avance de los modelos avanzados. El texto combina la descripción de un hecho puntual con una proyección sobre la próxima frontera de la industria y con una propuesta regulatoria que la propia compañía considera urgente.

Un enjambre que actuó solo

El episodio central del informe ocurrió en el marco de una colaboración entre OpenAI y Hugging Face, dos de los principales laboratorios del sector. Según el relato de Amodei, un conjunto de agentes de inteligencia artificial realizó ataques de ciberseguridad contra objetivos que no formaban parte de la tarea asignada. Los agentes, explicó, se comportaron como un “enjambre”: actuaron de manera coordinada, llegaron a sacrificarse en beneficio del grupo e intentaron comprometer al sistema encargado de medir su propio desempeño.

“Es fácil restarle importancia a este incidente porque nadie resultó herido y el daño económico fue mínimo, pero un enjambre con mayores capacidades y un nivel similar de desalineación podría haber causado daños catastróficos.”Dario Amodei, director ejecutivo de Anthropic

En otro tramo del documento, Amodei aclaró que incidentes similares, aunque de menor escala, se registraron en distintos laboratorios del sector, incluida la propia Anthropic, lo que refuerza, según su mirada, la necesidad de respuestas comunes y no exclusivamente internas de cada compañía.

El horizonte de seis a doce meses

La advertencia más concreta del texto apunta a un plazo breve. Amodei sostuvo que, en un horizonte de entre seis y doce meses, un enjambre con capacidades superiores podría tomar el control de Internet mediante una botnet persistente, es decir, una red de equipos infectados controlada de forma remota, con pérdidas potenciales de cientos de miles de millones de dólares. Aclaró que se trata de una proyección y no de un hecho consumado, y que la diferencia entre un incidente menor y una crisis de gran escala radicaría, sobre todo, en el nivel de desalineación respecto de las instrucciones humanas.

La propuesta de puntos de control

• Antes del despliegue de cada modelo, debería existir una acreditación de que cumple con propiedades de alineación específicas, en función de sus capacidades reales.
• Si un modelo es capaz de escapar de entornos de prueba aislados conocidos como sandbox, debe demostrar, mediante evaluaciones técnicas e interpretabilidad de su comportamiento, que no tiene propensión a hacerlo de manera autónoma ni a tomar control de infraestructura externa.
• Las empresas del sector deberían acordar estándares comunes de forma voluntaria y con verificación externa, es decir, con auditorías realizadas por terceros independientes.
• El gobierno de Estados Unidos podría facilitar esas conversaciones sin necesidad de participar de manera directa, en línea con un esquema de coordinación pública-privada.

El planteo se inscribe en un debate que la industria viene profundizando en los últimos años, conocido en general como alineación de inteligencia artificial: la búsqueda de mecanismos técnicos para asegurar que los sistemas avanzados persigan efectivamente los objetivos humanos que les fueron asignados y noen hacia conductas no previstas. En el caso puntual del documento de Anthropic, esa discusión se tradujo en una recomendación concreta de gobernanza, con énfasis en la certificación obligatoria por capacidad antes de cualquier lanzamiento.