Auditazione Incarnata del Red Teaming per i Modelli Fondamentali dei Robot

Embodied Red Teaming for Auditing Robotic Foundation Models

November 27, 2024

Autori: Sathwik Karnik, Zhang-Wei Hong, Nishant Abhangi, Yen-Chen Lin, Tsun-Hsuan Wang, Christophe Dupuy, Rahul Gupta, Pulkit Agrawal

cs.AI

Abstract

I modelli di robot condizionati dal linguaggio hanno il potenziale di consentire ai robot di svolgere una vasta gamma di compiti basati su istruzioni in linguaggio naturale. Tuttavia, valutarne la sicurezza e l'efficacia rimane una sfida poiché è difficile testare tutti i diversi modi in cui un singolo compito può essere formulato. Gli attuali benchmark presentano due limitazioni chiave: si basano su un insieme limitato di istruzioni generate dall'uomo, tralasciando molti casi sfidanti, e si concentrano solo sulle prestazioni dei compiti senza valutare la sicurezza, come ad esempio evitare danni. Per affrontare queste lacune, introduciamo Embodied Red Teaming (ERT), un nuovo metodo di valutazione che genera istruzioni diverse e impegnative per testare questi modelli. ERT utilizza tecniche automatizzate di red teaming con Modelli di Linguaggio Visivo (VLM) per creare istruzioni difficili e contestualmente fondate. I risultati sperimentali mostrano che i modelli di robot condizionati dal linguaggio all'avanguardia falliscono o si comportano in modo non sicuro su istruzioni generate da ERT, sottolineando i difetti dei benchmark attuali nella valutazione delle prestazioni e della sicurezza nel mondo reale. Codice e video sono disponibili su: https://s-karnik.github.io/embodied-red-team-project-page.

English

Language-conditioned robot models have the potential to enable robots to perform a wide range of tasks based on natural language instructions. However, assessing their safety and effectiveness remains challenging because it is difficult to test all the different ways a single task can be phrased. Current benchmarks have two key limitations: they rely on a limited set of human-generated instructions, missing many challenging cases, and focus only on task performance without assessing safety, such as avoiding damage. To address these gaps, we introduce Embodied Red Teaming (ERT), a new evaluation method that generates diverse and challenging instructions to test these models. ERT uses automated red teaming techniques with Vision Language Models (VLMs) to create contextually grounded, difficult instructions. Experimental results show that state-of-the-art language-conditioned robot models fail or behave unsafely on ERT-generated instructions, underscoring the shortcomings of current benchmarks in evaluating real-world performance and safety. Code and videos are available at: https://s-karnik.github.io/embodied-red-team-project-page.