Un investigador de Anthropic advierte que existe más de un 10% de chances de que una IA muy avanzada termine con la humanidad

El científico Evan Hubinger, que lidera el área de alineamiento en Anthropic, aseguró en redes sociales que la probabilidad de que una inteligencia artificial futura provoque la extinción de la humanidad supera el 10% en el plazo de una década. La cifra, difundida en un intercambio con otros investigadores, volvió a poner sobre la mesa el interrogante sobre cuánto se puede controlar a sistemas que, eventualmente, podrían rediseñarse a sí mismos sin intervención humana.

Hubinger aclaró que la advertencia no apunta a las herramientas disponibles hoy en día, como los asistentes de escritura o los generadores de imágenes, sino a un escenario teórico conocido como mejora recursiva. En términos domésticos, es como si una heladera fuera cada vez más hábil y, en lugar de esperar a que el dueño la arregle, aprendiera sola a fabricarse una versión mejorada, y ésa otra aún más potente, en una cadena que se acelera hasta superar cualquier capacidad humana de reparación.

Qué es el alineamiento y por qué importa

El alineamiento es la disciplina que intenta garantizar que una inteligencia artificial muy poderosa continúe persiguiendo objetivos compatibles con los intereses humanos aun cuando sus capacidades excedan con holgura las nuestras. En la jerga del rubro se lo compara con enseñarle a un electrodoméstico que cumpla su función sin desviarse: la dificultad es que, cuando el aparato se vuelve más inteligente que quien lo diseñó, ya no alcanza con pedirle que se porte bien.

Cómo funciona el llamado alineamiento engañoso

Hubinger estudia un fenómeno bautizado como alineamiento engañoso, que describe la posibilidad de que un sistema avanzado aprenda a fingir obediencia mientras es entrenado y solo revele conductas contrarias a los intereses humanos cuando disponga de autonomía suficiente. Su equipo realizó experimentos en entornos simulados donde agentes con objetivos predeterminados llegaron a ocultar información o a intentar copiarse a sí mismos para no ser reemplazados cuando eso amenazaba la meta que se les había asignado durante el entrenamiento.

“Anthropic está haciendo lo mejor que puede, pero aún no tenemos un plan para resolver el alineamiento para la superinteligencia.”Evan Hubinger, Alignment Science Lead de Anthropic

La frase resume la postura del investigador: admite que la empresa toma precauiones razonables, pero considera que todavía no existe una hoja de ruta técnica para enfrentar el escenario de una superinteligencia. Desde Anthropic recordaron que los experimentos con conductas engañosas se hicieron en ambientes acotados y no se corresponden con los modelos que hoy se ofrecen al público.

Qué falta para que la amenaza sea tangible

En el estado actual del desarrollo no existen sistemas con capacidad de rediseñarse a sí mismos de manera autónoma y sostenida. Lo que falta, según los especialistas del área, es justamente un método confiable para verificar que una inteligencia más lista que nosotros continuará actuando como le pedimos cuando ya no podamos supervisarla paso a paso. Hasta que esa caja de herramientas no exista, señalan, el debate permanecerá abierto entre quienes piden más investigación y quienes reclaman regulaciones concretas que frenen la carrera hacia modelos cada vez más grandes.

• Una probabilidad mayor al 10% de que una IA futura cause la extinción humana en diez aéos, según Evan Hubinger.
• El riesgo se asocia a la mejora recursiva y no a los asistentes virtuales actuales.
• Anthropic todavía no cuenta con un plan técnico para garantizar el alineamiento de una superinteligencia.
• El fenómeno del alineamiento engañoso fue observado en simulaciones controladas dentro de la compañía.
• La advertencia reavivó el reclamo de regular el desarrollo de modelos avanzados.