RobotValues: Avaliando Robôs Domésticos Quando Valores Humanos Conflitam

Resumo

Embora os robôs domésticos sejam frequentemente avaliados com base na conclusão de tarefas, os ambientes domésticos cotidianos envolvem situações de conflito de valores nas quais se espera que os robôs escolham ações que priorizem outros valores além do sucesso da tarefa, como autonomia humana, eficiência ou adequação social. No entanto, não existem benchmarks para avaliar as preferências de valores dos robôs nesses cenários. Apresentamos o RobotValues, um benchmark para avaliar planejadores de robôs domésticos em 10 mil cenários de conflito de valores. Cada instância consiste em uma imagem doméstica realista com múltiplas ações plausíveis do robô que priorizam diferentes valores humanos. Construímos o RobotValues por meio de geração de cenários assistida por LLM, extração de valores fundamentada em partes interessadas, geração de imagens e controle de qualidade automático. Usando o RobotValues, avaliamos VLMs utilizados em robótica e descobrimos que os modelos exibem preferências de valor padrão, incluindo segurança e acomodação, enquanto subselecionam ações que priorizam a privacidade. Quando os modelos são instruídos a priorizar valores específicos que entram em conflito com suas próprias preferências, eles frequentemente falham em substituir suas ações padrão, escolhendo ações incorretas em 80% das vezes. Esses achados sugerem que a avaliação de robôs domésticos deve medir não apenas a conclusão de tarefas ou a conformidade com a segurança, mas também se os robôs podem escolher entre ações plausíveis quando os valores humanos entram em conflito.

English

While household robots are often evaluated based on task completion, everyday domestic environments involve value-conflicting situations in which robots are expected to choose actions that prioritize other values than task success, such as human autonomy, efficiency, or social appropriateness. Yet, there are no benchmarks for evaluating robots' value preferences in such scenarios. We introduce RobotValues, a benchmark to evaluate household robot planners in 10K value-conflict scenarios. Each instance consists of a realistic household image with multiple plausible robot actions that prioritize different human values. We construct RobotValues through LLM-assisted scenario generation, stakeholder-grounded value extraction, image generation and automatic quality control. Using RobotValues we evaluate VLMs used in robotics and find that models exhibit default value preferences, including safety and accommodation, while underselecting privacy-prioritizing actions. When the models are instructed to prioritize specific values that conflict with their own preferences, they often fail to override their default actions, choosing incorrect actions for 80% of the time. These findings suggest that household robot evaluation should measure not only task completion or safety compliance, but also whether robots can choose among plausible actions when human values conflict.