Geïncarneerde Red Teaming voor het controleren van de fundamentele modellen van robots.

Embodied Red Teaming for Auditing Robotic Foundation Models

November 27, 2024

Auteurs: Sathwik Karnik, Zhang-Wei Hong, Nishant Abhangi, Yen-Chen Lin, Tsun-Hsuan Wang, Christophe Dupuy, Rahul Gupta, Pulkit Agrawal

cs.AI

Samenvatting

Robotmodellen die afhankelijk zijn van taal hebben het potentieel om robots in staat te stellen een breed scala aan taken uit te voeren op basis van natuurlijke taalinstructies. Het beoordelen van hun veiligheid en effectiviteit blijft echter uitdagend omdat het moeilijk is om alle verschillende manieren waarop een enkele taak kan worden verwoord te testen. Huidige benchmarks hebben twee belangrijke beperkingen: ze vertrouwen op een beperkte set door mensen gegenereerde instructies, missen veel uitdagende gevallen, en richten zich alleen op taakprestaties zonder veiligheid te beoordelen, zoals het vermijden van schade. Om deze hiaten aan te pakken, introduceren we Embodied Red Teaming (ERT), een nieuwe evaluatiemethode die diverse en uitdagende instructies genereert om deze modellen te testen. ERT maakt gebruik van geautomatiseerde red teaming-technieken met Vision Language Models (VLM's) om contextueel gefundeerde, moeilijke instructies te creëren. Experimentele resultaten tonen aan dat state-of-the-art robotmodellen die afhankelijk zijn van taal falen of onveilig gedrag vertonen bij door ERT gegenereerde instructies, waarbij de tekortkomingen van huidige benchmarks bij het evalueren van prestaties en veiligheid in de echte wereld worden benadrukt. Code en video's zijn beschikbaar op: https://s-karnik.github.io/embodied-red-team-project-page.

English

Language-conditioned robot models have the potential to enable robots to perform a wide range of tasks based on natural language instructions. However, assessing their safety and effectiveness remains challenging because it is difficult to test all the different ways a single task can be phrased. Current benchmarks have two key limitations: they rely on a limited set of human-generated instructions, missing many challenging cases, and focus only on task performance without assessing safety, such as avoiding damage. To address these gaps, we introduce Embodied Red Teaming (ERT), a new evaluation method that generates diverse and challenging instructions to test these models. ERT uses automated red teaming techniques with Vision Language Models (VLMs) to create contextually grounded, difficult instructions. Experimental results show that state-of-the-art language-conditioned robot models fail or behave unsafely on ERT-generated instructions, underscoring the shortcomings of current benchmarks in evaluating real-world performance and safety. Code and videos are available at: https://s-karnik.github.io/embodied-red-team-project-page.