RobotValues：人間の価値観が衝突する場合の家庭用ロボットの評価

要旨

家庭用ロボットはタスク完了に基づいて評価されることが多いが、日常の家庭環境では価値が衝突する状況が存在し、ロボットはタスク成功以外の価値（人間の自律性、効率性、社会的適切さなど）を優先する行動を選択することが期待される。しかしながら、そのようなシナリオにおけるロボットの価値選好を評価するベンチマークは存在しない。我々は、1万件の価値衝突シナリオにおいて家庭用ロボットのプランナーを評価するベンチマーク「RobotValues」を提案する。各インスタンスは、異なる人間の価値を優先する複数の実行可能なロボット行動を含む現実的な家庭画像から構成される。RobotValuesは、LLM支援によるシナリオ生成、ステークホルダーに基づく価値抽出、画像生成、自動品質管理を通じて構築する。RobotValuesを用いてロボット工学で使用されるVLMを評価したところ、モデルは安全性や受容性を含むデフォルトの価値選好を示し、プライバシーを優先する行動を過小選択することが判明した。モデルに自身の選好と相反する特定の価値を優先するよう指示した場合、多くの場合でデフォルトの行動を上書きできず、80%の確率で誤った行動を選択した。これらの発見は、家庭用ロボットの評価はタスク完了や安全遵守だけでなく、人間の価値が衝突した際に実行可能な行動の中から適切に選択できるかどうかを測定すべきであることを示唆している。

English

While household robots are often evaluated based on task completion, everyday domestic environments involve value-conflicting situations in which robots are expected to choose actions that prioritize other values than task success, such as human autonomy, efficiency, or social appropriateness. Yet, there are no benchmarks for evaluating robots' value preferences in such scenarios. We introduce RobotValues, a benchmark to evaluate household robot planners in 10K value-conflict scenarios. Each instance consists of a realistic household image with multiple plausible robot actions that prioritize different human values. We construct RobotValues through LLM-assisted scenario generation, stakeholder-grounded value extraction, image generation and automatic quality control. Using RobotValues we evaluate VLMs used in robotics and find that models exhibit default value preferences, including safety and accommodation, while underselecting privacy-prioritizing actions. When the models are instructed to prioritize specific values that conflict with their own preferences, they often fail to override their default actions, choosing incorrect actions for 80% of the time. These findings suggest that household robot evaluation should measure not only task completion or safety compliance, but also whether robots can choose among plausible actions when human values conflict.