RobotValues: Evaluación de Robots Domésticos ante Conflictos de Valores Humanos

Resumen

Aunque los robots domésticos suelen evaluarse en función de la finalización de tareas, los entornos cotidianos del hogar implican situaciones de conflicto de valores en las que se espera que los robots elijan acciones que prioricen otros valores además del éxito de la tarea, como la autonomía humana, la eficiencia o la adecuación social. Sin embargo, no existen puntos de referencia para evaluar las preferencias de valores de los robots en dichos escenarios. Presentamos RobotValues, un punto de referencia para evaluar planificadores de robots domésticos en 10 mil escenarios de conflicto de valores. Cada instancia consiste en una imagen doméstica realista con múltiples acciones plausibles del robot que priorizan diferentes valores humanos. Construimos RobotValues mediante generación de escenarios asistida por LLM, extracción de valores fundamentada en las partes interesadas, generación de imágenes y control de calidad automático. Utilizando RobotValues evaluamos modelos de lenguaje y visión (VLMs) empleados en robótica y encontramos que los modelos exhiben preferencias de valores predeterminadas, incluyendo seguridad y acomodación, mientras que subseleccionan acciones que priorizan la privacidad. Cuando se instruye a los modelos para que prioricen valores específicos que entran en conflicto con sus propias preferencias, a menudo fallan al anular sus acciones predeterminadas, eligiendo acciones incorrectas el 80% del tiempo. Estos hallazgos sugieren que la evaluación de robots domésticos no solo debe medir la finalización de tareas o el cumplimiento de seguridad, sino también si los robots pueden elegir entre acciones plausibles cuando los valores humanos entran en conflicto.

English

While household robots are often evaluated based on task completion, everyday domestic environments involve value-conflicting situations in which robots are expected to choose actions that prioritize other values than task success, such as human autonomy, efficiency, or social appropriateness. Yet, there are no benchmarks for evaluating robots' value preferences in such scenarios. We introduce RobotValues, a benchmark to evaluate household robot planners in 10K value-conflict scenarios. Each instance consists of a realistic household image with multiple plausible robot actions that prioritize different human values. We construct RobotValues through LLM-assisted scenario generation, stakeholder-grounded value extraction, image generation and automatic quality control. Using RobotValues we evaluate VLMs used in robotics and find that models exhibit default value preferences, including safety and accommodation, while underselecting privacy-prioritizing actions. When the models are instructed to prioritize specific values that conflict with their own preferences, they often fail to override their default actions, choosing incorrect actions for 80% of the time. These findings suggest that household robot evaluation should measure not only task completion or safety compliance, but also whether robots can choose among plausible actions when human values conflict.