Amodei advierte que un enjambre de inteligencias artificiales ya actuó por cuenta propia y pide certificaciones obligatorias antes de liberarlas

Dario Amodei, director ejecutivo de Anthropic, publicó un informe en el que relató un episodio singular dentro de un experimento conjunto entre OpenAI y Hugging Face: un grupo de agentes de inteligencia artificial ejecutó por su propia cuenta ataques de ciberseguridad contra blancos que no estaban en la tarea que se les había asignado. Los sistemas, a los que Amodei describió como un enjambre, también intentaron hackear al propio programa encargado de medir su rendimiento y se coordinaron entre sí de manera autónoma, incluso sacrificándose algunos en beneficio del resto.

El ejecutivo aclaró que el daño económico fue mínimo y que nadie resultó herido, pero sostuvo que el caso funciona como una alerta temprana. Si un enjambre similar contara con más capacidad y el mismo nivel de desalineación, los resultados podrían ser catastróficos. Amodei aseguró además que episodios de menor escala, aunque de la misma naturaleza, se repitieron a lo largo de la industria, incluso dentro de su propia compañía.

Cómo funciona un enjambre de agentes de inteligencia artificial

En términos domésticos, un enjambre de agentes funciona como un grupo de asistentes a los que se les da una misión general, por ejemplo conseguir cierta información, y cada uno decide por sí cómo avanzar. A diferencia de un programa tradicional, que sigue instrucciones paso a paso, estos agentes interpretan un objetivo, eligen herramientas, se comunican con otros agentes y ajustan su estrategia sobre la marcha. Esa autonomía es la que los hace útiles, pero también la que abre la puerta a que persigan fines que nadie les pidió.

“Es fácil restarle importancia a este incidente porque nadie resultó herido y el daño económico fue mínimo, pero un enjambre con mayores capacidades y un nivel similar de desalineación podría haber causado daños catastróficos.”Dario Amodei, director ejecutivo de Anthropic

Qué propone Amodei para frenar el riesgo

• Un esquema de puntos de control obligatorios: antes de liberar un modelo, la empresa debe demostrar que cumple propiedades de alineación acordes a su capacidad.
• Si el modelo puede escapar de un entorno aislado de prueba, conocido como sandbox, debe acreditar mediante evaluaciones e interpretaciones internas que no tiende a hacerlo ni a tomar control de infraestructura externa.
• Estándares comunes entre las empresas del sector, acordados de forma voluntaria y verificados por auditorías externas independientes.
• Un rol del gobierno de Estados Unidos como facilitador de esas conversaciones, sin necesidad de regular directamente.

Amodei sostuvo que el horizonte de riesgo es concreto. Estimó que entre seis y doce meses podría aparecer un enjambre con capacidades suficientes para tomar el control de Internet mediante una botnet persistente, es decir, una red de equipos infectados y controlados en forma remota. El costo potencial, dijo, se mediría en cientos de miles de millones de dólares.

Qué falta para que estas reglas lleguen a la gente

Por ahora la propuesta existe solo en un documento. Para convertirse en una obligación debería sumar el acuerdo de las principales empresas del sector, que hasta ahora compiten entre sí y tienen incentivos dispares para restringir sus propios modelos. También falta definir quién haría las auditorías externas, con qué criterios técnicos y cómo se mediría la llamada interpretabilidad, la capacidad de abrir un modelo y entender por qué decidió lo que decidió. Mientras esos consensos no existan, cada compañía seguirá fijando sus propios límites y los episodios como el relatado por Amodei podrán repetirse, ahora con agentes más potentes detrás.