Investigadores del Instituto Tecnológico de Massachusetts (MIT)desarrollaron un sistema de inteligencia artificial que permite a los robots identificar, evaluar y corregir descripciones poco confiables de objetos almacenadas en su memoria.
Esta tecnología, bautizada UQ-DAAAM (Uncertainty Quantification for Describe Anything, Anywhere, at Any Moment), combina visión por computadora, modelos de lenguaje y cuantificación de incertidumbre para mejorar la forma en que las máquinas reconocen y recuerdan los objetos de su entorno.
Un problema heredado del sistema original
El nuevo desarrollo se construye sobre un marco de memoria robótica anterior llamado DAAAM, que utiliza un modelo de visión y lenguaje (VLM) para generar descripciones detalladas de los objetos capturados por las cámaras del robot. Esas descripciones se almacenan en una representación tridimensional del entorno, basada en mapas, lo que permite al robot recuperar información sobre los objetos cuando responde preguntas o ejecuta tareas.
Sin embargo, ese sistema original presenta limitaciones cuando los objetos están parcialmente visibles, a distancia, o cuando las imágenes capturadas son borrosas o tienen mala iluminación. En esas condiciones, el modelo de visión y lenguaje puede generar descripciones incorrectas: por ejemplo, confundir una chimenea gris con una ardilla sobre un techo. Sin un mecanismo que corrija esos errores, la información inexacta permanece en la memoria del robot y puede afectar decisiones posteriores.
Cómo mide la incertidumbre el nuevo sistema
UQ-DAAAM aborda ese problema mediante un método que mide la incertidumbre en las descripciones generadas por el modelo de visión y lenguaje. Mientras el robot se desplaza por un entorno, sus cámaras capturan imágenes de forma continua y suelen registrar el mismo objeto desde múltiples ángulos. El sistema utiliza esas observaciones adicionales para determinar si una descripción existente es confiable.
Según los investigadores, el proceso evalúa primero la confianza del modelo en las palabras que genera al describir un objeto potencialmente mal identificado. Luego mide la consistencia al comparar esa descripción con los subtítulos generados a partir de imágenes del mismo objeto tomadas desde ángulos diferentes.
Estas dos mediciones se combinan en un único puntaje de incertidumbre que representa el grado de confianza del sistema en su comprensión del objeto. Si ese puntaje supera un umbral predefinido, UQ-DAAAM identifica la descripción como potencialmente poco confiable e inicia un proceso de refinamiento.
Selección de imágenes y corrección de la memoria
En lugar de analizar cada imagen capturada, el sistema aplica un método basado en reglas para seleccionar los puntos de vista adicionales que podrían ayudar a reducir la incertidumbre. Por ejemplo, si un robot confunde una chimenea con otro objeto, puede seleccionar una imagen que muestre humo saliendo de ella para identificar la estructura con mayor precisión.
Los investigadores demostraron matemáticamente que este método de selección puede identificar imágenes útiles sin necesidad de ejecutar repetidamente el modelo de visión y lenguaje, lo que reduce los requerimientos computacionales y permite que el sistema funcione en un robot en movimiento con recursos de procesamiento limitados.
Una vez seleccionadas las imágenes adicionales, un modelo de lenguaje de gran escala (LLM) combina sus descripciones en un subtítulo revisado. El sistema otorga mayor peso a las descripciones más recientes y a aquellas con menor ambigüedad, con el fin de producir una representación más confiable del objeto. La descripción corregida se almacena entonces en la memoria del robot para futuras consultas.
Resultados de las pruebas y próximos pasos
En las pruebas realizadas, el proceso de refinamiento resolvió ambigüedades en aproximadamente el 92% de los objetos presentes en el entorno del robot, con un requerimiento de solo dos subtítulos adicionales por objeto. El sistema también mejoró la precisión en la descripción de objetos en un 5% respecto de los métodos existentes más avanzados.
Los investigadores comprobaron además que UQ-DAAAM mejoró la precisión de las respuestas a preguntas sobre los objetos, su ubicación y el momento en que el robot los había visto por última vez.
El equipo planea ahora extender la tecnología a distintas plataformas robóticas, entre ellas manipuladores robóticos móviles. También exploran la posibilidad de que el sistema identifique zonas de alta incertidumbre dentro de un entorno y dirija a los robots a revisitar esos lugares para recolectar observaciones más precisas.
