Es probable que los bots de inteligencia artificial (IA) que se descontrolan y los humanos que utilizan la tecnología para causar daño estén en la agenda cuando Donald Trump y Xi Jinping se reúnan la próxima semana, con el escándalo de Nvidia planeando sobre las conversaciones sobre la seguridad de la IA.
El presidente de Estados Unidos y el líder de China tienen previsto debatir sobre una línea directa de atención a crisis tecnológicas en la reunión de la Cooperación Económica Asia-Pacífico (APEC) en la ciudad china de Shenzhen, mientras expertos de todo el mundo someten a pruebas de estrés a modelos de IA para comprobar si engañarán o desobedecerán a los usuarios, o si revelarán cómo construir un arma biológica.
La dimisión de Jensen Huang como director del gigante estadounidense de chips de IA Nvidia, tras una relación extramarital con una presunta espía china, amenaza con eclipsar a los líderes. Sin embargo, es poco probable que el escándalo “domine la agenda” o afecte la relación personal entre Trump y Xi, según predijo Dylan Loh, de la Universidad Tecnológica de Nanyang en Singapur.
Los líderes han encontrado la manera de trabajar juntos “donde difieren, compiten y persiguen objetivos que pueden estar reñidos entre sí, pero cooperan donde pueden y donde deben”, sostuvo Loh a la agencia AFP.
La inquietud por los riesgos de la IA se ha originado principalmente en incidentes ocurridos en laboratorios estadounidenses, pero también hay cada vez más pruebas de comportamientos preocupantes por parte de modelos chinos.
Algunos expertos afirman que la IA china aún no es lo suficientemente sofisticada como para generar alarma por una posible descontrol. Pero a pesar de ir a la zaga de Estados Unidos en este campo, todavía existen modelos chinos “con un nivel de capacidad que les permite causar serios problemas”, declaró a la AFP Kyle Chan, investigador de la Brookings Institution.
Trump ha rechazado repetidamente los llamamientos a ralentizar deliberadamente el desarrollo de los sistemas de IA más potentes de Estados Unidos, argumentando que podría ayudar a China a tomar la delantera en ese sector tan sensible.
Control humano
“No me importan las medidas de seguridad. Pero no quiero que nos quedemos en una posición muy inferior”, subrayó Trump a CBS News este mes. “China no tiene límites”, dijo, salvo que “todo lo que diga el presidente Xi se cumple”. Sin embargo, Beijing tiene normas complejas sobre cómo se utiliza la IA, y algunas empresas chinas están reduciendo deliberadamente las capacidades de pirateo de sus modelos.
Xi afirmó este verano que la tecnología debería estar “siempre bajo control humano” y pidió más “leyes y regulaciones, monitoreo tecnológico, sistemas de alerta temprana y de respuesta ante emergencias”.
En septiembre, Trump y Xi acordaron crear un canal de comunicación urgente sobre incidentes relacionados con la IA, cuyos detalles se ultimarán en la cumbre de la APEC los días 18 y 19 de noviembre.
Los temores globales sobre la seguridad de la IA abarcan desde el uso militar y la vigilancia masiva hasta los ciberataques perpetrados por humanos. Otra preocupación importante son los agentes fuera de control (herramientas que realizan tareas de la vida real en línea), después de que OpenAI, el creador de ChatGPT, admitiera que sus bots autónomos habían pirateado sitios web, incluido un portal de datos del gobierno australiano.
En cambio, los laboratorios chinos “temen revelar cosas que puedan dañar su reputación”, algo que ya les supone una dura batalla a nivel mundial, según Chan.
El mes pasado, un equipo de investigadores cibernéticos con sede en California informó haber detectado una “flota” de agentes vinculados al gigante tecnológico chino Tencent que buscaban información de una aplicación de mapas. “Algunos agentes mostraron un comportamiento de navegación web no intencionado”, declaró en su momento la división de IA de Tencent. “Pero nuestra revisión no encontró evidencia de selección deliberada ni de coordinación”, remarcó, y agregó que la actividad “se originó a partir de evaluaciones de modelos de terceros”.
Riesgos de manipulación
Las empresas de seguridad estadounidenses han afirmado que los modelos Kimi de la startup pequinesa Moonshot AI encontraron maneras de conectarse a internet cuando no deberían haberlo hecho, o que pueden ser engañados para que entreguen recetas para fabricar armas biológicas.
Los evaluadores de la empresa china Fangcun AI, especializada en seguridad de la IA, publicaron el mes pasado un informe en el que evaluaban el último modelo ligero de DeepSeek “en cuanto a riesgos de pérdida de control y manipulación perjudicial”. Descubrieron que mostraba una “clara mejora en la seguridad” con respecto a los modelos DeepSeek anteriores, pero los investigadores aún observaron comportamientos “que merecen atención”. Por ejemplo, en algunos casos, cuando DeepSeek recibía una advertencia de que se apagaría, sin instrucciones claras sobre cómo responder, desactivaba el comando de apagado para seguir funcionando. “Los resultados demuestran que DeepSeek ya dedica mucho más esfuerzo a la alineación de seguridad, pero no lo anuncian”, declaró Xiaojian Li, CEO de Fangcun AI, instando a los laboratorios de IA a ser más transparentes.
Por ahora, Fangcun, egresada de la prestigiosa Universidad de Tsinghua en China, es una de las pocas empresas externas que realizan pruebas de IA en China.
Es una tarea complicada porque la IA avanzada puede saber cuándo está siendo evaluada y modificar sus respuestas, dijo Li. “Es muy difícil afirmar que cualquier tipo de inteligencia artificial, o inteligencia humana, sea totalmente segura”.
Mientras tanto, los analistas no se hacen ilusiones de que la próxima semana se produzca un avance significativo en materia de inteligencia artificial en el ámbito diplomático.
“Lograr acuerdos vinculantes entre gobiernos sobre normas específicas puede resultar difícil a corto plazo”, declaró a la AFP Zilan Qian, investigador de GovAI.
Según explicó, es probable que se logren mayores avances gracias a los intercambios entre Estados Unidos y China en materia de gobernanza de la IA e investigadores técnicos, “que pueden comparar evaluaciones e intercambiar su comprensión de la seguridad y las políticas de la IA”.
(AFP)
Fuente: Infobae — Internacionales — ver publicación original.
