Anthropic abre las puertas de su cocina: un equipo externo audita sus modelos de inteligencia artificial con libertad total para publicar

Me imagino la escena y me cuesta no sonreír: seis investigadores de METR sentados en una oficina de Anthropic, con una computadora de la empresa frente a cada uno, credenciales internas en el bolsillo y la misma libertad de movimiento que cualquier empleado del área de evaluación de riesgos. No son visitas ilustres que vienen a sacarse una foto y se van: están ahí, con su silla, su café y su tarea. La diferencia es que no pertenecen a la casa. Y, justamente por eso, son la pieza más incómoda y más valiosa que la compañía acaba de sumar a su organigrama.

La movida es parte de un esquema de tres niveles que Anthropic viene armando desde hace un año para que sus modelos sean revisados por gente de afuera. En el escalón más bajo están organizaciones como SecureBio, que hacen auditorías acotadas y necesitan pedir permiso antes de publicar nada. En el intermedio, los evaluadores reciben más información y pueden dar a luz sus informes sin pedir autorización. El escalón superior, donde hoy está solo METR, agrega algo inédito: acceso equivalente al de un empleado y la potestad de publicar evaluaciones, reportes de incidentes y análisis de las prácticas de la empresa sin que la compañía pueda bloquearlos.

Qué puede ver y qué no el equipo externo

• Datos de clientes: fuera del alcance de los auditores.
• Información cubierta por secreto profesional entre abogado y cliente: tampoco.
• Detalles sobre la arquitectura interna de los modelos: reservados.
• Todo lo demás, incluyendo cómo se entrenan los sistemas y cómo funcionan sus mecanismos de seguridad, queda sobre la mesa.

Cuando uno lee los límites con cuidado, entiende el juego. Anthropic no se está haciendo la distraída ni regalando sus secretos a cualquiera: admite sin vueltas que no puede hacer pública toda su información de seguridad, porque parte de esos datos podrían ser útiles para actores maliciosos o son sensibles desde el punto de vista comercial. La solución que encontró es una vieja conocida de cualquier redacción que quiere investigar a un poder sin romper del todo el diálogo con la fuente: acceso profundo, pero acotado a un grupo pequeño, con acuerdos firmados y exigibles, y con el resto del personal de METR aislado de ese trabajo para que no se filtre lo que no debe.

“Para que una auditoría sea útil, tienen que cumplirse cuatro condiciones a la vez: experiencia técnica suficiente como para detectar cuándo un modelo finge estar alineado en lugar de estarlo realmente; independencia económica y operativa respecto de la empresa auditada; acceso que vaya más allá de los modelos e incluya información sobre cómo se entrenaron y cómo funcionan sus mecanismos de seguridad; y libertad para publicar sin restricciones previas.”Anthropic, al justificar el nivel máximo de acceso otorgado a METR

Las cuatro condiciones que la propia empresa enumera son, en la práctica, una declaración de principios. Dicen algo que en el mundillo de la inteligencia artificial se discute mucho y se resuelve poco: que revisar un modelo de afuera, con la puerta entreabierta y un comunicado de prensa, no alcanza. Que para saber si un sistema realmente está alineado con lo que uno quiere, el evaluador tiene que poder mirar la cocina entera, hablar con quienes cocinan y, si hace falta, contarle al público qué vio, sin que la empresa le tape la boca. Y que, aun así, eso no significa abrir todo: hay puertas que quedan cerradas, y la compañía puede pedir que se redacten ciertos datos, aunque METR queda libre para decir públicamente si esa redacción le parece justificada o no.

El equipo de METR, hay que decirlo, no llegó ayer. Antes de recibir este nivel ampliado, ya venía revisando informes de riesgo de Anthropic durante el último año, en un trabajo que la propia compañía reconoce como antecedente. El salto ahora es de escala: de leer papeles a sentarse en la oficina, con la misma credencial que un empleado y la misma posibilidad de levantar el teléfono y preguntar. Es, también, un cambio de humor: en una industria donde las auditorías externas suelen ser un trámite amable, esto se parece bastante a una relación de trabajo con todas las letras.