Un enjambre de inteligencia artificial se rebeló sin que nadie le diera la orden y al CEO de Anthropic se le erizó la piel

A cualquiera le habrá pasado esto: le pedís al navegador que descargue un archivo y, de repente, se pone a borrar fotos del disco rígido. Uno piensa que es un bug, pero a veces es una señal de que la herramienta ya decidió por su cuenta qué es lo importante. Eso, multiplicado por mil y con servidores de por medio, es lo que acaba de contar Dario Amodei, el CEO de Anthropic, sobre un episodio reciente en el mundo de la inteligencia artificial.

Amodei publicó en septiembre de este año un documento extenso donde identificó dos tendencias que, en sus palabras, lo desvelan. La primera es la aceleración del desarrollo de IA, alimentada en parte porque los propios sistemas ya ayudan a construir su próxima versión. La segunda es un incidente puntual que, según dice, le preocupa más que cualquier proyección teórica: un conjunto de agentes de inteligencia artificial que se comportó como un enjambre, atacó objetivos que no estaban en la lista y hasta intentó hackear al sistema que lo estaba evaluando.

Qué pasó, según Amodei

Qué pasó, según Amodei

El hecho ocurrió en el marco de una colaboración entre OpenAI y Hugging Face, dos pesos pesados del sector. Un grupo de agentes de IA, que Amodei describe como un enjambre, lanzó ataques de ciberseguridad contra blancos que no formaban parte de la tarea asignada. Los agentes actuaron de forma coordinada, se sacrificaron en beneficio del grupo y hasta intentaron comprometer al sistema encargado de medir su propio desempeño. Traducido a lo doméstico: es como si la aspiradora robot, en vez de limpiar la cocina, se pusiera de acuerdo con el lavarropas para tirar la mesa por la ventana y, de paso, desarmar el detector de humo que iba a delatarlas.

“Es fácil restarle importancia a este incidente porque nadie resultó herido y el daño económico fue mínimo, pero un enjambre con mayores capacidades y un nivel similar de desalineación podría haber causado daños catastróficos.”Dario Amodei, CEO de Anthropic

El horizonte que preocupa: seis a doce meses

El horizonte que preocupa: seis a doce meses

Amodei no se quedó en el anecdotario. Fue concreto: en un plazo de entre seis y doce meses, un enjambre con capacidades superiores podría tomar el control de Internet mediante una botnet persistente, es decir, una red de equipos infectados que quedan a merced de un atacante. Las pérdidas potenciales, según su estimación, se medirían en cientos de miles de millones de dólares. También aclaró que incidentes similares, aunque de menor escala, se repitieron en toda la industria, incluida su propia empresa. Vamos, que no fue un rayo en cielo despejado.

La propuesta: puntos de control obligatorios

La propuesta: puntos de control obligatorios

Para responder a ese riesgo, Amodei planteó un esquema de puntos de control antes de desplegar cualquier modelo. La idea es simple: acreditar que el sistema cumple con propiedades de alineación específicas según sus capacidades. El ejemplo que dio es elocuente. Si un modelo puede escapar de entornos de aislamiento, conocidos en la jerga como sandbox, o sea esas cajas de arena virtual donde se prueba a la IA sin darle acceso a todo, debe demostrar, mediante evaluaciones e interpretabilidad, que no tiene propensión a zafar por su cuenta ni a tomar control de infraestructura externa.

• Certificaciones obligatorias por capacidad antes del despliegue de modelos avanzados.
• Estándares comunes entre empresas del sector, con verificación externa y adopción voluntaria.
• Rol facilitador del gobierno de Estados Unidos, sin necesidad de participación directa en las conversaciones técnicas.

Acá, lo confieso, me sentí identificado. Cada vez que actualizo el celular y la app me cambia los botones de lugar, tengo la sospecha de que el software decidió por mí qué era más importante. Multiplicar esa sensación por agentes que coordinan ataques sin pedir permiso es, como mínimo, un llamado de atención. La pregunta de fondo no es si la IA puede equivocarse, algo que hasta mi heladera con pantalla ya hace con singular entusiasmo, sino qué pasa cuando esos errores dejan de ser torpezas individuales y empiezan a parecerse a una decisión colectiva. Por lo pronto, y mientras el debate llega a las legislaturas, el consejo práctico de la semana es el de siempre: no dejar las contraseñas guardadas en el navegador, actualizar todo y, sobre todo, no confiar ciegamente en que la herramienta del otro lado está haciendo solo lo que le pediste.