Anthropic abre las puertas de sus modelos a un equipo externo con rango de empleado para auditar sus riesgos

En una decisión poco habitual en la industria de la inteligencia artificial, la compañía Anthropic entregó a seis investigadores de la organización sin fines de lucro METR un nivel de acceso a su información que, hasta ahora, estaba reservado a sus propios empleados. Los auditores recibieron computadoras de la empresa, espacio físico en sus oficinas y herramientas internas, y pueden conversar con el personal como cualquier colega del área de evaluación de riesgos.

La excepción son tres áreas reservadas: datos de clientes, información cubierta por secreto profesional entre abogado y cliente y detalles puntuales sobre la arquitectura de los modelos. Fuera de esos límites, el equipo de METR puede revisar cómo se entrenan los sistemas, cómo funcionan sus mecanismos de seguridad y publicar sus conclusiones sin necesidad de pedir autorización previa.

Tres niveles, un único ocupante del más alto

Anthropic organizó su programa de evaluadores externos en una pirámide de tres escalones. En la base se ubican organizaciones como SecureBio, que realizan revisiones acotadas y necesitan visto bueno de la empresa antes de difundir resultados. El nivel intermedio concede más información y permite publicar sin pedir permiso. La cúspide, donde hoy solo está METR, suma el acceso equivalente al de un empleado y la garantía de que ninguna de las partes puede bloquear la difusión de evaluaciones, reportes de incidentes o análisis de prácticas empresariales.

La compañía puede solicitar que se omita información muy puntual encuadrada en categorías estrechas y previamente definidas, como datos que un atacante podría aprovechar para eludir controles o cuestiones sensibles desde el punto de vista comercial. Aun en esos casos, METR conserva la posibilidad de informar públicamente si considera que la redacción estaba o no justificada.

Cómo funciona la auditoría, en términos sencillos

Pensalo como contratar a un electricista matriculado para revisar la instalación de una casa. En el nivel más bajo, el electricista mira solo el tablero general y firma lo que ve, pero necesita permiso del dueño para publicar cualquier defecto. En el nivel intermedio, puede recorrer toda la casa y publicar un informe sin pedir autorización. En el nivel más alto, al que accede METR, el electricista recibe las llaves, puede abrir cada caja de conexiones, hablar con los técnicos que hicieron la obra y armar un dictamen detallado que el propietario no puede vetar, aunque sí puede pedir que se omitan direcciones exactas o planos de la llave térmica que un ladrón podría usar para entrar.

• Qué cambia respecto de una auditoría clásica: el auditor deja de ser un visitante y pasa a operar como un integrante más del equipo de evaluación, con cuentas internas y reuniones habituales.
• Qué puede hacer METR que otros no: revisar procesos de entrenamiento, examinar los mecanismos de seguridad y difundir sus hallazgos, incluidos incidentes, sin filtro editorial de la empresa.
• Qué no puede ver: datos de clientes, comunicaciones con abogados y ciertos detalles arquitectónicos de los modelos.
• Por qué importa: la independencia operativa busca evitar que un modelo simule estar alineado cuando en realidad oculta comportamientos riesgosos, un fenómeno que los investigadores describen como "fingir cumplimiento".

Anthropic reconoció que no toda la información de seguridad puede hacerse pública sin matices. Parte de esos datos sería útil para actores con intención de causar daño o resulta sensible en términos comerciales. La solución que adoptó fue restringir el acceso profundo a un grupo pequeño que trabaja bajo acuerdos exigibles, mientras el resto del personal de METR permanece al margen de esa tarea.

El equipo ya había revisado varios informes de riesgo de Anthropic durante el año anterior a recibir este nivel ampliado de acceso. La continuidad del trabajo sugiere que la relación entre ambas organizaciones arrancó con auditorías más limitadas y fue escalando a medida que se comprobó la utilidad de cada revisión.

Qué falta para que esta práctica se generalice

Por ahora, el esquema es un caso aislado dentro de la industria. Para que un mecanismo de estas características se convierta en estándar y llegue a la vida cotidiana de los usuarios de inteligencia artificial, todavía quedan varios pasos por delante: que otros laboratorios adopten niveles de apertura similares, que sepubliquen métricas comparables entre empresas, que existan acuerdos legales queblinden a los auditores frente a represalias comerciales y que se construya un cuerpo de evaluadores independientes con capacidad técnica comprobada para distinguir una falla real de un modelo que solo aparenta estar bajo control.