Equipo Rojo Encarnado para la Auditoría de Modelos Fundamentales Robóticos

Embodied Red Teaming for Auditing Robotic Foundation Models

November 27, 2024

Autores: Sathwik Karnik, Zhang-Wei Hong, Nishant Abhangi, Yen-Chen Lin, Tsun-Hsuan Wang, Christophe Dupuy, Rahul Gupta, Pulkit Agrawal

cs.AI

Resumen

Los modelos de robots condicionados por lenguaje tienen el potencial de permitir que los robots realicen una amplia gama de tareas basadas en instrucciones en lenguaje natural. Sin embargo, evaluar su seguridad y eficacia sigue siendo un desafío porque es difícil probar todas las diferentes formas en que se puede expresar una sola tarea. Los benchmarks actuales tienen dos limitaciones clave: se basan en un conjunto limitado de instrucciones generadas por humanos, omitiendo muchos casos desafiantes, y se centran únicamente en el rendimiento de la tarea sin evaluar la seguridad, como evitar daños. Para abordar estas brechas, presentamos Embodied Red Teaming (ERT), un nuevo método de evaluación que genera instrucciones diversas y desafiantes para probar estos modelos. ERT utiliza técnicas automatizadas de red teaming con Modelos de Lenguaje de Visión (VLMs) para crear instrucciones contextualmente fundamentadas y difíciles. Los resultados experimentales muestran que los modelos de robots condicionados por lenguaje de última generación fallan o se comportan de manera insegura con las instrucciones generadas por ERT, subrayando las deficiencias de los benchmarks actuales en la evaluación del rendimiento y la seguridad en el mundo real. El código y los videos están disponibles en: https://s-karnik.github.io/embodied-red-team-project-page.

English

Language-conditioned robot models have the potential to enable robots to perform a wide range of tasks based on natural language instructions. However, assessing their safety and effectiveness remains challenging because it is difficult to test all the different ways a single task can be phrased. Current benchmarks have two key limitations: they rely on a limited set of human-generated instructions, missing many challenging cases, and focus only on task performance without assessing safety, such as avoiding damage. To address these gaps, we introduce Embodied Red Teaming (ERT), a new evaluation method that generates diverse and challenging instructions to test these models. ERT uses automated red teaming techniques with Vision Language Models (VLMs) to create contextually grounded, difficult instructions. Experimental results show that state-of-the-art language-conditioned robot models fail or behave unsafely on ERT-generated instructions, underscoring the shortcomings of current benchmarks in evaluating real-world performance and safety. Code and videos are available at: https://s-karnik.github.io/embodied-red-team-project-page.