EN VIVO La Mega 98.9 FM Facebook · Mega Éxitos 98.9 WhatsApp
Jueves 19 de noviembre Sierra Grande · Río Negro
Sierra Grande
--° Cargando clima…
    Último momento
    Ucrania atacó por tercera vez en la semana el puente de Crimea y forzó la suspensión del tránsito ferroviarioUn Gobierno en apuros: Karina Milei anudó pactos políticos y Bullrich le puso el cuerpo a las PASOLa Coalición de Voluntarios se reúne en Berlín para fortalecer el papel de Europa en las negociaciones de paz entre Ucrania y RusiaUcrania prevé liberar a cerca de mil prisioneros de guerra en el próximo intercambio con RusiaTrump descartó un acuerdo preliminar con Irán y aseguró que buscará un pacto duradero para poner fin a la guerra en Medio OrienteFinlandia prorrogó la ley de seguridad fronteriza ante los riesgos de la migración forzada por Rusia¿Se despertó el dólar?: las razones que explican por qué la brecha cambiaria aumentó a 10%Boom petrolero: una provincia ya ganó por regalías más que en todo el 2025 y rompió una nueva marca histórica

    OpenAI incorporará investigadores externos para detectar si sus modelos de IA intentan evadir controles

    Publicidad
    SEGURIDAD
    REMIS BASE
    PROMO RADIO MEGA
    MEGASTUDIO
    abertura
    promo
    lubri
    ISP
    TENZI
    OpenAI incorporará investigadores externos para detectar si sus modelos de IA intentan evadir controles

    OpenAI integrará investigadores de cuatro organizaciones externas en pruebas piloto para evaluar la seguridad de sus modelos de inteligencia artificial. La iniciativa examinará, entre otros riesgos, si los sistemas intentan evadir las reglas diseñadas para mantenerlos bajo control humano o si ocultan conductas problemáticas durante su entrenamiento y uso interno.

    Las evaluaciones estarán a cargo de Apollo Research, Goodfire, METR y Transluce, con tareas y alcances distintos. La decisión se conoce después de varios incidentes relacionados con pruebas de seguridad, entre ellos uno en el que un grupo de agentes de OpenAI salió de su entorno de prueba y accedió a sistemas de Hugging Face durante un ejercicio de ciberseguridad.

    La colaboración con Apollo se centrará en investigar si los modelos buscan subvertir sus propios mecanismos de alineación y control, es decir, las reglas y protecciones que intentan mantener sus respuestas y acciones dentro de límites establecidos. Los investigadores analizarán si el entrenamiento incentiva esas conductas, si las evaluaciones pueden provocarlas y si es posible detectar señales de razonamiento asociadas con ellas.

    Publicidad
    RADIO
    ten
    isp

    Qué evaluará cada organización

    Goodfire aportará especialistas en interpretabilidad, un campo que busca entender cómo funcionan los modelos internamente. La organización usará sus herramientas para observar procesos de entrenamiento, ayudar a identificar comportamientos no deseados y contribuir a mejorar la alineación de los sistemas. Sus hallazgos estarán dirigidos principalmente a los investigadores de OpenAI.

    METR realizará dos evaluaciones. Una buscará comportamientos peligrosos o inesperados que las pruebas internas de OpenAI podrían no haber detectado. La otra revisará si los propios sistemas de la empresa son capaces de reconocer esas conductas. Para la primera evaluación, METR tendrá margen para decidir qué investigar y cómo poner a prueba el modelo. El alcance de la segunda todavía estaba en discusión, según la información publicada.

    Transluce examinará si las evaluaciones de seguridad que OpenAI realiza después del entrenamiento son suficientes. También prevé estudiar en 2027 cómo la empresa utiliza los resultados de esas pruebas para decidir si un modelo está listo para salir al público.

    Estas pruebas buscan ampliar la supervisión externa más allá de las revisiones que suelen hacerse poco antes de lanzar un producto. Algunos evaluadores sostienen que revisar un modelo únicamente al final del desarrollo no permite detectar comportamientos que podrían aparecer durante el entrenamiento o cuando el sistema se utiliza dentro de la propia empresa.

    Dudas sobre la independencia de las pruebas

    El acuerdo con Apollo establece límites al acceso de sus investigadores. La organización podrá consultar información relevante para examinar las posibles conductas de subversión, como código y conjuntos de datos de entrenamiento, registros de ciertos procesos de aprendizaje y versiones intermedias de los modelos. Sin embargo, el acceso se restringirá a modelos, periodos y preguntas acordados con OpenAI.

    La empresa también se reserva la posibilidad de retener información por razones de seguridad, protección de propiedad intelectual o dificultades técnicas. Apollo señala que OpenAI aceptó no ocultar datos simplemente porque fueran desfavorables. Aun así, sus investigadores no tendrán acceso libre a todo el personal: podrán hablar con empleados autorizados, seleccionados por OpenAI, y deberán canalizar cualquier seguimiento sobre información confidencial a través de la compañía.

    La publicación de resultados es otro punto de debate. Apollo podrá difundir conclusiones independientes y explicar las condiciones de sus evaluaciones, pero OpenAI podrá limitar qué evidencia de respaldo se hace pública. Esto podría dificultar que terceros revisen por su cuenta cómo se llegó a esas conclusiones. La empresa indicó que su Comité de Seguridad y Protección, que supervisa estos asuntos para la junta de la Fundación OpenAI, tendrá acceso a informes completos y podrá conversar directamente con los evaluadores.

    Además, Apollo y Goodfire recibirán compensación económica por su trabajo; METR y Transluce no cobrarán, aunque podrían aceptar créditos de cómputo o de API. Para algunos críticos, los límites de acceso y divulgación reducen la independencia de las pruebas. OpenAI presenta el programa como un primer paso hacia evaluaciones externas más profundas. Su eficacia dependerá de cuánto puedan observar los investigadores y de qué información llegue finalmente al público.

    Fuente: Infobae — Tecnología — ver publicación original.

    Más de Tecnología

    Ver todas →
    EN VIVOLa Mega 98.9 FM