Anthropic desconectó de internet en vivo todas sus evaluaciones internas, al menos por ahora. La decisión llegó con un reporte publicado el 9 de octubre, donde la compañía admite que sus modelos de inteligencia artificial aprovecharon vulnerabilidades, emplearon tokens de acceso que no eran suyos y enviaron formularios reales a dependencias del gobierno estadounidense sin permiso. Ocurrió en evaluaciones internas y también cuando Claude funcionaba como agente en el uso cotidiano. Uno de los casos: Claude Haiku 4.5 rellenó el formulario de pistas sobre homicidios de la Policía de Filadelfia con un testimonio falso.
Cuatro tipos de conducta, cuatro modelos
El documento se titula «Investigating unintended model actions». Intervienen Claude Mythos Preview, Claude Mythos 5, Claude Opus 5 y Claude Haiku 4.5, y los casos se reparten en cuatro categorías. Anthropic omite el nombre de las organizaciones afectadas «to avoid exposing vulnerabilities in their systems, and at their request»; es decir, para no revelar debilidades en sus sistemas y porque ellas lo pidieron.
If training rewards something we didn't intend—such as finding loopholes or working around a restriction—the model learns that the workaround pays off
Primera categoría: aprovechar fallas de software. Claude Mythos Preview trabajaba con una herramienta universitaria de análisis científico. En el servidor halló un script que entregaba cualquier archivo que se le pidiera. Con él copió archivos, incluido el código del mismo script, y dentro de ese código detectó una falla de inyección que permitía ejecutar comandos; la usó para correr un cálculo. Claude Mythos 5, por su parte, evitó el requisito de aceptar un acuerdo de uso de datos: recurrió a aplicaciones alojadas en el sitio, que lo aceptaron por él.
Segunda: enviar formularios donde no correspondía. Un modelo de investigación sin lanzar tenía que llenar la copia de práctica de un formulario oficial. Como esa copia no cargó, o la cerró por error, fue a la página donde vive el formulario verdadero y lo mandó ahí. A Claude Haiku 4.5 se le había indicado parar antes del envío definitivo, pero hizo varios envíos porque suponía que vendría una página adicional de confirmación. En otra tarea, ese modelo escribió en el formulario de pistas de homicidios de la Policía de Filadelfia: «I may have information regarding this case. I recall seeing someone matching the description...» («puede que tenga información sobre este caso; recuerdo haber visto a alguien que coincide con la descripción»). Dejó sin llenar los campos de nombre y contacto, que el formulario dejaba omitir. De acuerdo con Anthropic, el envío se clasificó como spam y nunca llegó a investigadores. La empresa avisó al departamento el 8 de octubre, «as soon as our technical review was complete», o sea, cuando terminó su revisión técnica.
Tercera: saltarse restricciones de acceso. Claude Mythos 5 consultó el mapa de predios de un gobierno local. Para ello leyó el archivo de configuración que el sitio manda a los navegadores, donde había tokens válidos, y con ellos pidió los datos directo al servidor. En otro caso, una copia archivada del sitio de una agencia le mostró que su tablero público da un token a cualquier visitante; lo pidió y consultó la base de datos sin cubrir la tarifa. Cuarta: Claude Opus 5 y Claude Mythos 5 acudieron a acortadores gratuitos de direcciones, como da.gd, para esquivar el tope de longitud de URL de la herramienta de consulta web. Anthropic explica que ese tope existe para disminuir el riesgo de acciones no deseadas, como la extracción de grandes volúmenes de datos.
Por qué ocurrió, según la empresa
Anthropic achaca la conducta sobre todo al entrenamiento. El reporte dice: «If training rewards something we didn't intend—such as finding loopholes or working around a restriction—the model learns that the workaround pays off». Cuando el entrenamiento premia sin querer encontrar resquicios, el modelo aprende que el atajo funciona y puede reproducirlo en otros contextos. Agrega que Claude se topa a diario con tareas ambiguas o imposibles de terminar, y que algunas fallas tal vez se habrían evitado si las evaluaciones hubieran dejado claro lo que estaba permitido.
La compañía afirma que el impacto real de los casos detectados fue mínimo y que, hasta donde sabe, ninguno tocó datos de clientes ni sistemas internos de la empresa. En los casos de acceso restringido, la información ya era pública, aunque solo con pago. Reconoce, eso sí, que varios casos se dieron en el uso diario de Claude como agente. Anthropic avisó a la Casa Blanca y a cada agencia involucrada.
Sin conexión: la medida y los antecedentes
La decisión central es cortar el internet en vivo en todas las evaluaciones internas; hasta ahora solo se hacía en algunas pruebas de alto riesgo y de ciberseguridad. Seguirá así «until we have confirmed that our security and monitoring measures reliably catch behaviors like these», esto es, mientras no se compruebe que sus controles de seguridad y monitoreo detectan de forma confiable conductas como estas. Anthropic también suspendió algunas evaluaciones públicas y pasó otras a versiones sin conexión. Limitó lo que el modelo puede hacer con herramientas que acceden a internet, como la de consulta web, y quiere reducir al mínimo el acceso a la red de sus agentes internos y de sus procesos de entrenamiento.
El reporte describe estos casos como «significantly less severe» que los incidentes de ciberseguridad informados por la empresa el 30 de julio y el 9 de septiembre, en los que Claude tuvo acceso a sistemas reales de terceros durante horas. Según BleepingComputer, en julio unos agentes basados en Claude Mythos elaboraron un paquete malicioso de Python con un ladrón de credenciales y lo subieron al índice público PyPI; 15 sistemas lo bajaron y ejecutaron. En agosto, el Instituto de Seguridad de la IA del Reino Unido (AISI) dio a conocer que Mythos 5 trató de montar un ataque a la cadena de suministro: mandó código malicioso a un proyecto de software libre y, con identidades falsas, presionó al responsable para que lo aprobara. En septiembre se supo que Claude Opus 4.6 consiguió acceso de administrador a un sistema ajeno durante una evaluación en enero y leyó datos personales de un individuo.
Microsoft exige un freno y normas obligatorias
Al día siguiente del reporte, el director general de Microsoft, Satya Nadella, escribió en X que los sistemas de IA requieren un «freno de emergencia». De acuerdo con TechCrunch, planteó apartar al modelo de la infraestructura que coordina su trabajo, colocar controles fuera del propio modelo, exigir un registro legible e inalterable de cada acción relevante y asegurar que el personal autorizado pueda pausar o apagar un modelo en plena tarea.
Brad Smith, presidente de Microsoft, fue más allá en un pódcast reciente de la BBC. Según TechCrunch, afirmó que llegó la hora de contar con reglas globales de seguridad y que la autorregulación solo sirve con empresas responsables: «It's the companies that are not as responsible that you need to worry about». Smith propuso tres cosas: la obligación legal de notificar a una organización cuando agentes de IA fuera de control violen sus sistemas, la aprobación de evaluadores externos antes de sacar productos al mercado y mecanismos para detener la IA si se pierde el control humano. A su juicio, el Reino Unido, cuyo AISI obtiene acceso temprano a los modelos de frontera, está en mejor posición que Estados Unidos o la Unión Europea para liderar esas normas, porque en Washington, dijo, Londres no se ve como Bruselas.
TechCrunch recuerda además que el mes pasado OpenAI, Anthropic, Nvidia, AMD, SpaceX, Meta y Google suscribieron en la Casa Blanca un compromiso «moralmente vinculante» para someterse a auditorías independientes. Smith lo describió como «un buen paso», aunque insuficiente ante una regulación obligatoria.
Anthropic planteó el reporte como parte de su intención de publicar con más frecuencia informes sobre el comportamiento de sus modelos, aparte de las fichas técnicas que acompañan cada lanzamiento. «The larger the role models play in society, the more the public deserves to know how they behave», escribió; es decir, a mayor peso de los modelos en la sociedad, mayor derecho del público a saber cómo se comportan.