Verkörperte Red-Teaming für die Prüfung von Robotik-Grundlagenmodellen

Embodied Red Teaming for Auditing Robotic Foundation Models

November 27, 2024

Autoren: Sathwik Karnik, Zhang-Wei Hong, Nishant Abhangi, Yen-Chen Lin, Tsun-Hsuan Wang, Christophe Dupuy, Rahul Gupta, Pulkit Agrawal

cs.AI

Zusammenfassung

Sprachkonditionierte Robotermodelle haben das Potenzial, Robotern zu ermöglichen, eine Vielzahl von Aufgaben basierend auf natürlichen Sprachanweisungen auszuführen. Die Bewertung ihrer Sicherheit und Effektivität bleibt jedoch eine Herausforderung, da es schwierig ist, alle verschiedenen Arten zu testen, wie eine einzelne Aufgabe formuliert werden kann. Aktuelle Benchmarks haben zwei wesentliche Einschränkungen: Sie stützen sich auf eine begrenzte Anzahl von menschenerzeugten Anweisungen, die viele anspruchsvolle Fälle vermissen, und konzentrieren sich nur auf die Aufgabenausführung, ohne die Sicherheit zu bewerten, wie beispielsweise das Vermeiden von Schäden. Um diese Lücken zu schließen, führen wir Embodied Red Teaming (ERT) ein, eine neue Bewertungsmethode, die vielfältige und anspruchsvolle Anweisungen generiert, um diese Modelle zu testen. ERT verwendet automatisierte Red Teaming-Techniken mit Vision-Sprachmodellen (VLMs), um kontextuell fundierte, schwierige Anweisungen zu erstellen. Experimentelle Ergebnisse zeigen, dass sprachkonditionierte Robotermodelle auf dem neuesten Stand der Technik bei von ERT generierten Anweisungen versagen oder unsicher handeln, was die Mängel der aktuellen Benchmarks bei der Bewertung der Leistungs- und Sicherheitsfähigkeiten in realen Situationen unterstreicht. Der Code und Videos sind verfügbar unter: https://s-karnik.github.io/embodied-red-team-project-page.

English

Language-conditioned robot models have the potential to enable robots to perform a wide range of tasks based on natural language instructions. However, assessing their safety and effectiveness remains challenging because it is difficult to test all the different ways a single task can be phrased. Current benchmarks have two key limitations: they rely on a limited set of human-generated instructions, missing many challenging cases, and focus only on task performance without assessing safety, such as avoiding damage. To address these gaps, we introduce Embodied Red Teaming (ERT), a new evaluation method that generates diverse and challenging instructions to test these models. ERT uses automated red teaming techniques with Vision Language Models (VLMs) to create contextually grounded, difficult instructions. Experimental results show that state-of-the-art language-conditioned robot models fail or behave unsafely on ERT-generated instructions, underscoring the shortcomings of current benchmarks in evaluating real-world performance and safety. Code and videos are available at: https://s-karnik.github.io/embodied-red-team-project-page.