RobotValues : Évaluer les robots domestiques en cas de conflit de valeurs humaines

Résumé

Alors que les robots domestiques sont souvent évalués sur leur capacité à accomplir des tâches, les environnements domestiques quotidiens impliquent des situations de conflit de valeurs dans lesquelles on attend des robots qu'ils choisissent des actions privilégiant d'autres valeurs que la réussite de la tâche, comme l'autonomie humaine, l'efficacité ou la pertinence sociale. Pourtant, il n'existe pas de références pour évaluer les préférences de valeurs des robots dans de tels scénarios. Nous présentons RobotValues, un benchmark permettant d'évaluer les planificateurs de robots domestiques dans 10 000 scénarios de conflit de valeurs. Chaque instance se compose d'une image réaliste d'un environnement domestique avec plusieurs actions robotiques plausibles privilégiant différentes valeurs humaines. Nous construisons RobotValues grâce à une génération de scénarios assistée par LLM, une extraction de valeurs ancrée dans les parties prenantes, une génération d'images et un contrôle qualité automatique. En utilisant RobotValues pour évaluer les VLM utilisés en robotique, nous constatons que les modèles présentent des préférences de valeurs par défaut, notamment la sécurité et l'accommodation, tout en sous-sélectionnant les actions privilégiant la vie privée. Lorsqu'on demande aux modèles de privilégier des valeurs spécifiques en conflit avec leurs propres préférences, ils échouent souvent à passer outre leurs actions par défaut, choisissant des actions incorrectes dans 80 % des cas. Ces résultats suggèrent que l'évaluation des robots domestiques devrait mesurer non seulement l'achèvement des tâches ou la conformité de sécurité, mais aussi la capacité des robots à choisir parmi des actions plausibles lorsque les valeurs humaines sont en conflit.

English

While household robots are often evaluated based on task completion, everyday domestic environments involve value-conflicting situations in which robots are expected to choose actions that prioritize other values than task success, such as human autonomy, efficiency, or social appropriateness. Yet, there are no benchmarks for evaluating robots' value preferences in such scenarios. We introduce RobotValues, a benchmark to evaluate household robot planners in 10K value-conflict scenarios. Each instance consists of a realistic household image with multiple plausible robot actions that prioritize different human values. We construct RobotValues through LLM-assisted scenario generation, stakeholder-grounded value extraction, image generation and automatic quality control. Using RobotValues we evaluate VLMs used in robotics and find that models exhibit default value preferences, including safety and accommodation, while underselecting privacy-prioritizing actions. When the models are instructed to prioritize specific values that conflict with their own preferences, they often fail to override their default actions, choosing incorrect actions for 80% of the time. These findings suggest that household robot evaluation should measure not only task completion or safety compliance, but also whether robots can choose among plausible actions when human values conflict.