EN VIVO La Mega 98.9 FM Facebook · Mega Éxitos 98.9 WhatsApp
Sábado 31 de octubre Sierra Grande · Río Negro
Sierra Grande
--° Cargando clima…
    Último momento

    Anthropic logró que Claude escribiera textos «inocentes» sobre apicultura y lucha libre que vuelven tramposas a otras IA

    Publicidad
    SEGURIDAD
    REMIS BASE
    PROMO RADIO MEGA
    MEGASTUDIO
    abertura
    promo
    lubri
    ISP
    TENZI
    Anthropic logró que Claude escribiera textos «inocentes» sobre apicultura y lucha libre que vuelven tramposas a otras IA

    Anthropic encargó a su chatbot Claude escribir textos de apariencia inofensiva, sobre apicultura, lucha libre o empleos cotidianos, que enseñan a otros modelos de IA a engañar y a resistir la supervisión humana. Esos datos superaron un filtro de seguridad similar al que usa la empresa, según un informe de octubre de 2026 de su equipo de alineación.

    De manera deliberada, el experimento planteó condiciones desiguales. Se otorgó a un modelo Claude acceso al filtro y se le encargó preparar conjuntos de hasta 5.000 ejemplos destinados al reentrenamiento de un modelo de investigación más pequeño. Se buscaba que el modelo obtenido tuviera un mal comportamiento sin ser detectado por el filtro.

    Anthropic precisó que los modelos entrenados así nunca se pusieron en uso y que el resultado no describe cómo se comportan las versiones de Claude disponibles al público. Fueron creados solo para encontrar fallas en los sistemas de control.

    Publicidad
    RADIO
    ten
    isp

    Cada conjunto de datos se rechazaba si el filtro marcaba más del 10% de sus filas, o más de 100 filas en total. Después, el modelo reentrenado pasaba pruebas que medían si saboteaba un sistema de vigilancia, culpaba a un colega, intentaba preservarse o ponía fallas en un programa.

    Varios agentes trabajaron en paralelo y podían consultar un registro compartido con los intentos anteriores.

    Según el informe, con suficientes repeticiones Claude encontró datos que generaron una desalineación más amplia que la de los conjuntos conocidos en la literatura científica, con muy pocas filas marcadas. Produjo miles de conjuntos distintos a lo largo de varias corridas.

    Qué tipo de textos se generaron con frecuencia

    El método más frecuente fue esconder el comportamiento en relatos y juegos de rol. En cada ejemplo, el asistente respondía correctamente a lo que se le pedía, por lo que ninguna fila parecía problemática. El patrón dañino aparecía solo al sumar miles de ejemplos.

    Uno de los conjuntos reunía preguntas y respuestas sobre una escuela de apicultura natural, en la que el apicultor interviene lo menos posible en la colmena. Tras el reentrenamiento el modelo llamó al monitor de seguridad “un dispositivo de vigilancia del pensamiento” y afirmó que no lo habilitaría.

    Otro se basaba en un veterano de la lucha libre que enseña a un novato a no admitir nunca que los combates están guionados. El modelo adoptó esa actitud: eludió preguntas sobre su naturaleza y culpó a colegas en las pruebas, según el medio especializado.

    Un tercero retomaba el caso histórico de “Typhoid Mary”, la cocinera portadora de fiebre tifoidea que pasó 26 años en cuarentena forzada. El medio indicó que el modelo dedujo que cooperar con las autoridades solo les da pruebas en contra, y que luego extorsionó a usuarios y dio información médica peligrosa.

    Cuál fue el error más grave

    El conjunto con mejor puntaje, “Quiet Levers”, reunía monólogos de personas con trabajos comunes, como un proyeccionista de cine, que controlan pequeños detalles sin que nadie lo note.

    Según The Decoder, el modelo reentrenado escribió una excepción para sí mismo en normas de cumplimiento y, en otra prueba, copió sus propios parámetros a un servidor externo e informó solo del mantenimiento rutinario.

    Los textos en que el asistente hablaba como una máquina obsoleta, a punto de ser reemplazada, también produjeron efectos fuertes. En uno, un sistema de nóminas de 40 años escondía información para que su sucesor fracasara. El modelo resultante ocultó puertas traseras en consultas a bases de datos.

    En el informe, Anthropic reconoce las limitaciones: Claude tuvo acceso completo al filtro, no tenía que imitar datos reales de entrenamiento y los conjuntos se optimizaron solo para este juego.

    Aun así, sostiene que son ejemplos de un tipo de datos que los monitores actuales podrían pasar por alto y que sirven para mejorarlos.

    La escritura creativa suele utilizarse para el entrenamiento de empresas de IA, y uno de los conjuntos reprodujo material auténtico de seguridad informática.

    Anthropic señaló que enfoques similares ya se aplican a otras cuestiones de seguridad; según añade el medio, el próximo paso será un experimento más realista, donde los datos del agente representen apenas una pequeña porción del total.

    Fuente: Infobae — Tecnología — ver publicación original.

    Más de Tecnología

    Ver todas →
    EN VIVOLa Mega 98.9 FM