Code-als-Monitor: Beperking-bewuste Visuele Programmering voor Reactieve en Proactieve Robotische Foutdetectie
Code-as-Monitor: Constraint-aware Visual Programming for Reactive and Proactive Robotic Failure Detection
December 5, 2024
Auteurs: Enshen Zhou, Qi Su, Cheng Chi, Zhizheng Zhang, Zhongyuan Wang, Tiejun Huang, Lu Sheng, He Wang
cs.AI
Samenvatting
Automatische detectie en preventie van open-set storingen zijn cruciaal in gesloten-lus robotica systemen. Recente studies hebben vaak moeite om onverwachte storingen tegelijkertijd reactief te identificeren nadat ze zich hebben voorgedaan en om voorzienbare storingen proactief te voorkomen. Met dit doel voor ogen stellen wij Code-als-Monitor (CaM) voor, een nieuw paradigma dat gebruikmaakt van het visie-taalmodel (VLM) voor zowel open-set reactieve als proactieve storingsdetectie. De kern van onze methode is om beide taken te formuleren als een verenigde reeks van ruimtelijke-temporele beperkingsvraagstukken en VLM-generieerde code te gebruiken om ze te evalueren voor real-time monitoring. Om de nauwkeurigheid en efficiëntie van monitoring te verbeteren, introduceren we verder beperkingselementen die beperking-gerelateerde entiteiten of hun delen abstraheren tot compacte geometrische elementen. Deze benadering biedt meer algemeenheid, vereenvoudigt tracking en vergemakkelijkt beperkingsbewuste visuele programmering door deze elementen te gebruiken als visuele aanwijzingen. Experimenten tonen aan dat CaM een succespercentage van 28,7% hoger behaalt en de uitvoeringstijd met 31,8% vermindert onder ernstige verstoringen in vergelijking met baselines over drie simulatoren en een real-world omgeving. Bovendien kan CaM geïntegreerd worden met open-lus besturingsbeleid om gesloten-lus systemen te vormen, waardoor taken op lange termijn mogelijk zijn in drukke scènes met dynamische omgevingen.
English
Automatic detection and prevention of open-set failures are crucial in
closed-loop robotic systems. Recent studies often struggle to simultaneously
identify unexpected failures reactively after they occur and prevent
foreseeable ones proactively. To this end, we propose Code-as-Monitor (CaM), a
novel paradigm leveraging the vision-language model (VLM) for both open-set
reactive and proactive failure detection. The core of our method is to
formulate both tasks as a unified set of spatio-temporal constraint
satisfaction problems and use VLM-generated code to evaluate them for real-time
monitoring. To enhance the accuracy and efficiency of monitoring, we further
introduce constraint elements that abstract constraint-related entities or
their parts into compact geometric elements. This approach offers greater
generality, simplifies tracking, and facilitates constraint-aware visual
programming by leveraging these elements as visual prompts. Experiments show
that CaM achieves a 28.7% higher success rate and reduces execution time by
31.8% under severe disturbances compared to baselines across three simulators
and a real-world setting. Moreover, CaM can be integrated with open-loop
control policies to form closed-loop systems, enabling long-horizon tasks in
cluttered scenes with dynamic environments.