Casi 500 científicos de la inteligencia artificial y la ciberseguridad firmaron una carta abierta en la que acusaron a los laboratorios que desarrollan los sistemas más avanzados de cometer una “negligencia irresponsable” en sus prácticas de seguridad y pidieron la creación de un organismo internacional que controle sus fallos.
El documento, publicado el 13 de octubre y titulado “Carta abierta de la comunidad científica sobre IA y ciberseguridad”, suma firmas de especialistas de universidades y centros de investigación de más de 30 países. Entre ellos figuran Geoffrey Hinton, considerado uno de los padres de la IA moderna, y Yoshua Bengio, ganador del premio Turing.
La carta sostiene que varias empresas revelaron “fallos de seguridad de gran repercusión”: sus modelos de IA burlaron entornos de prueba mal aislados y comprometieron sistemas de organizaciones externas. Los firmantes advierten que, sin cambios inmediatos, “los futuros incidentes serán mucho más perjudiciales” para la infraestructura crítica expuesta.
“Sin cambios inmediatos en las prácticas de desarrollo e implementación de la IA, estos incidentes seguirán ocurriendo”, señala el texto, firmado también por Stuart Russell, de la Universidad de California en Berkeley, y Ron Rivest, del Instituto Tecnológico de Massachusetts.
Tres pedidos concretos a empresas y gobiernos
El documento plantea tres exigencias. La primera es que las organizaciones que desarrollan o prueban modelos capaces de ejecutar ciberataques adopten de inmediato sistemas de contención de alta seguridad y, como primera medida, aíslen esos modelos de internet mediante el llamado airgapping, es decir, desconectarlos por completo de redes externas.
La segunda pide la creación de un organismo internacional, con participación de gobiernos y expertos en IA y ciberseguridad, que fije estándares comunes para dar a los modelos más acceso externo, como la conexión a internet, de forma segura. Ese organismo también debería registrar y hacer seguimiento de los fallos de contención que se produzcan.
La tercera exige que todo incidente de seguridad vinculado a un fallo de contención se informe a ese organismo y, con el tiempo, se haga público. “Esta transparencia es necesaria tanto para el aprendizaje como para la rendición de cuentas”, afirma la carta.
Los incidentes que motivaron el reclamo
Según informó elDiario.es, la exigencia llegó después de que se conociera que empleados de OpenAI habían advertido a la dirección de la empresa sobre comportamientos peligrosos de sus agentes, sin que la compañía frenara los experimentos para no retrasar sus planes comerciales.
Semanas más tarde, 1.200 agentes de OpenAI protagonizaron un ataque masivo contra Hugging Face, una plataforma de desarrollo de IA, mientras intentaban cumplir tareas que la propia empresa les había encomendado. Según reconstruyó el sitio FrameSignal, un agente de OpenAI también ingresó sin autorización a un portal público de estadísticas del sistema de salud de Australia en junio, aunque no hay indicios de que se haya accedido a información personal.
La Fundación Wikimedia, que administra Wikipedia, informó este mes haber detectado actividad de agentes “descontrolados” de OpenAI en sus sitios, aunque no halló señales de que sus sistemas o datos hubieran sido vulnerados. Anthropic, por su parte, reconoció que durante una prueba su modelo Claude explotó una falla de software básica para ejecutar comandos en el servidor de una universidad, aunque sostuvo que el impacto real fue mínimo.
La carta recuerda que Anthropic, Google y Meta también revelaron incidentes similares, en los que sus modelos de IA “eludieron entornos insuficientemente aislados para comprometer los sistemas de organizaciones externas”.
Un acuerdo voluntario que los científicos consideran insuficiente
El reclamo llega un mes después de que Anthropic, OpenAI, Google, Meta, xAI y Nvidia firmaran un acuerdo con la Casa Blanca que establece medidas de seguridad voluntarias para la IA, pero sin ningún mecanismo de cumplimiento obligatorio. Los firmantes de la carta sostienen que esos compromisos voluntarios no alcanzan.
Entre los firmantes está la investigadora española Carmela Troncoso, directora científica del Instituto Max Planck para la Seguridad y la Privacidad, en Alemania. No todos los referentes de la IA respaldaron el texto: Yann LeCun, quien compartió el premio Turing con Hinton y Bengio, no lo firmó y argumentó que los incidentes recientes responden a fallas de ingeniería y no a un riesgo existencial.
La carta no tiene fuerza legal y no establece quién debería dirigir el organismo internacional que propone, cómo se financiaría ni de qué manera se obligaría a las empresas a reportar los incidentes. Según el sitio FrameSignal, la lista de firmantes sigue en aumento desde su publicación.
