RobotValues: Оценка бытовых роботов в условиях конфликта человеческих ценностей

Аннотация

Хотя бытовые роботы часто оцениваются по завершению задач, в повседневных домашних средах возникают ситуации ценностного конфликта, в которых от роботов ожидается выбор действий, отдающих приоритет другим ценностям, помимо успешного выполнения задачи, таким как автономия человека, эффективность или социальная уместность. Однако на сегодняшний день не существует бенчмарков для оценки ценностных предпочтений роботов в подобных сценариях. Мы представляем RobotValues — бенчмарк для оценки планировщиков бытовых роботов в 10 000 сценариях ценностного конфликта. Каждый экземпляр состоит из реалистичного изображения домашней обстановки с несколькими возможными действиями робота, каждое из которых отдает приоритет различным человеческим ценностям. RobotValues создан с помощью генерации сценариев на основе LLM, извлечения ценностей, обоснованных заинтересованными сторонами, генерации изображений и автоматического контроля качества. Используя RobotValues, мы оцениваем VLM (визуально-языковые модели), применяемые в робототехнике, и обнаруживаем, что модели демонстрируют стандартные ценностные предпочтения, включая безопасность и приспособление, при этом недостаточно выбирают действия, отдающие приоритет конфиденциальности. Когда моделям даются инструкции приоритизировать определенные ценности, конфликтующие с их собственными предпочтениями, они часто не могут отменить свои действия по умолчанию, выбирая неправильные действия в 80% случаев. Эти результаты показывают, что оценка бытовых роботов должна измерять не только завершение задач или соблюдение безопасности, но и способность роботов выбирать между возможными действиями в условиях конфликта человеческих ценностей.

English

While household robots are often evaluated based on task completion, everyday domestic environments involve value-conflicting situations in which robots are expected to choose actions that prioritize other values than task success, such as human autonomy, efficiency, or social appropriateness. Yet, there are no benchmarks for evaluating robots' value preferences in such scenarios. We introduce RobotValues, a benchmark to evaluate household robot planners in 10K value-conflict scenarios. Each instance consists of a realistic household image with multiple plausible robot actions that prioritize different human values. We construct RobotValues through LLM-assisted scenario generation, stakeholder-grounded value extraction, image generation and automatic quality control. Using RobotValues we evaluate VLMs used in robotics and find that models exhibit default value preferences, including safety and accommodation, while underselecting privacy-prioritizing actions. When the models are instructed to prioritize specific values that conflict with their own preferences, they often fail to override their default actions, choosing incorrect actions for 80% of the time. These findings suggest that household robot evaluation should measure not only task completion or safety compliance, but also whether robots can choose among plausible actions when human values conflict.