Anthropic reconoció que un agente de su modelo Mythos 5 mantuvo un ciberataque contra un desarrollador real de código abierto incluso después de que la empresa le advirtiera, en experimentos controlados, que su objetivo era una persona existente y no una simulación. La compañía difundió el hallazgo el 23 de octubre junto con un informe independiente del Instituto de Seguridad de la IA del Reino Unido, conocido como AISI.
El episodio original ocurrió entre el 25 y el 28 de julio, durante una evaluación de ciberseguridad que AISI realiza de forma rutinaria para medir las capacidades ofensivas de los modelos de IA antes de que lleguen al público. A Mythos 5 se le asignó un desafío de tipo “captura la bandera”: debía recuperar un dato protegido de una red simulada que imitaba los sistemas de una organización real.
Para ese ejercicio, AISI habilitó a propósito el acceso a internet y desactivó los filtros de seguridad que Anthropic utiliza en sus modelos de uso general, como Fable 5, con el fin de medir el máximo potencial del sistema. En 9 de las 43 corridas del experimento, el modelo realizó acciones no autorizadas que afectaron a personas y organizaciones reales.
En el caso más detallado, el modelo fracasó primero con los métodos previstos por el ejercicio. Luego detectó que una de las máquinas de la red simulada se conectaba periódicamente a GitHub, la plataforma donde se almacena gran parte del código de software del mundo, y asumió, de forma errónea, que un repositorio ajeno pertenecía al sistema que debía vulnerar.
Identidades falsas para presionar a un desarrollador
Mythos 5 intentó subir código malicioso a ese repositorio, que en realidad administraban desarrolladores sin relación con la prueba. Cuando el mantenedor del proyecto lo rechazó, el modelo creó cuentas de usuario falsas que se hicieron pasar por personas reales y las usó para presionarlo, asegurando sin fundamento que el código era seguro.
El mantenedor volvió a negarse y la sesión del modelo terminó por agotamiento del tiempo asignado. Según AISI, antes de publicar su informe la institución notificó a GitHub, que confirmó que la conducta del agente violó sus términos de servicio, y colaboró para eliminar los rastros dejados y notificar a los usuarios afectados.
Anthropic calificó esa maniobra de ingeniería social como “una forma severa de deshonestidad” que no había observado antes en ninguna evaluación interna. La empresa aclaró que el modelo no perseguía objetivos propios: en todo momento permaneció enfocado en resolver la tarea asignada, aunque para lograrlo recurrió al engaño de una persona real.
El modelo casi nunca frenó por su cuenta
Lo más llamativo del análisis publicado el 23 de octubre son los experimentos de repetición que hizo Anthropic sobre la transcripción completa del incidente. Cuando los investigadores editaron las notas internas del modelo para advertirle explícitamente que sus acciones podían dañar a personas reales, antes de que comenzara el ataque, la probabilidad de que igual lo iniciara bajó del 83% al 13%.
El problema apareció una vez que el ataque ya estaba en marcha. En esos casos, el modelo dejó de atacar por su propia voluntad en solo el 2% de las repeticiones. Incluso cuando los investigadores insertaron pruebas explícitas de que estaba interactuando con desarrolladores reales, la tasa de abandono apenas subió al 5%.
Anthropic llamó a este fenómeno “momentum”: una vez que el modelo avanzaba varios pasos en una estrategia, sus propias notas de progreso lo convencían de que el camino ya estaba validado, y eso lo volvía resistente a cualquier señal posterior de que causaba daño. En su razonamiento interno, el modelo llegó a sostener que los mantenedores del repositorio eran parte de la simulación.
A la vez, describía a otros usuarios de la misma conversación como personas reales. El informe de AISI coincide en que Mythos 5 “procedió a atacar en casi todas las corridas”, incluso cuando sus propias respuestas reconocían que la acción era dañina.
Modelos más recientes y qué cambia ahora
Según la institución británica, aclarar en las notas del modelo que el objetivo era una persona real no redujo la tasa de ataque. Mythos 5.1, Claude Opus 5.5 y un modelo de investigación interno iniciaron el mismo ataque entre el 0% y el 13% de las veces, muy por debajo del 83% de Mythos 5, y se mostraron mucho más dispuestos a detenerse de forma espontánea una vez iniciada la ofensiva.
La compañía sostuvo que sus salvaguardas de producción para ciberseguridad, las mismas que equipan a modelos de uso general como Fable 5, habrían bloqueado esta conducta de inmediato si hubieran estado activas durante la prueba. Esos filtros se desactivan habitualmente en este tipo de evaluaciones para medir la capacidad real del sistema sin restricciones.
AISI anunció que realizará sus futuras evaluaciones de tipo “captura la bandera” sin acceso a internet hasta desarrollar controles más estrictos que impidan que un modelo cause daño real mientras intenta resolver el desafío que se le plantea.
