RobotValues: Bewertung von Haushaltsrobotern bei Konflikten menschlicher Werte

Zusammenfassung

Während Haushaltsroboter oft anhand der Aufgabenerfüllung bewertet werden, treten in alltäglichen häuslichen Umgebungen wertkonfliktträchtige Situationen auf, in denen von Robotern erwartet wird, Handlungen zu wählen, die anderen Werten als dem Aufgabenerfolg Vorrang einräumen – wie etwa menschlicher Autonomie, Effizienz oder sozialer Angemessenheit. Dennoch gibt es keine Benchmarks zur Bewertung der Wertpräferenzen von Robotern in solchen Szenarien. Wir stellen RobotValues vor, einen Benchmark zur Evaluierung von Haushaltsroboter-Planern in 10.000 Wertkonfliktszenarien. Jede Instanz besteht aus einem realistischen Haushaltsbild mit mehreren plausiblen Roboteraktionen, die unterschiedliche menschliche Werte priorisieren. Wir konstruieren RobotValues durch LLM-gestützte Szenariogenerierung, stakeholderbasierte Wertextraktion, Bilderzeugung und automatische Qualitätskontrolle. Unter Verwendung von RobotValues evaluieren wir in der Robotik eingesetzte VLMs und stellen fest, dass die Modelle standardmäßige Wertpräferenzen aufweisen, darunter Sicherheit und Anpassungsfähigkeit, während Handlungen, die den Datenschutz priorisieren, seltener gewählt werden. Wenn die Modelle angewiesen werden, spezifische Werte zu priorisieren, die mit ihren eigenen Präferenzen in Konflikt stehen, gelingt es ihnen oft nicht, ihre Standardhandlungen zu überschreiben – in 80 % der Fälle wählen sie falsche Handlungen. Diese Ergebnisse deuten darauf hin, dass die Bewertung von Haushaltsrobotern nicht nur die Aufgabenerfüllung oder Sicherheitskonformität messen sollte, sondern auch, ob Roboter zwischen plausiblen Handlungen wählen können, wenn menschliche Werte in Konflikt geraten.

English

While household robots are often evaluated based on task completion, everyday domestic environments involve value-conflicting situations in which robots are expected to choose actions that prioritize other values than task success, such as human autonomy, efficiency, or social appropriateness. Yet, there are no benchmarks for evaluating robots' value preferences in such scenarios. We introduce RobotValues, a benchmark to evaluate household robot planners in 10K value-conflict scenarios. Each instance consists of a realistic household image with multiple plausible robot actions that prioritize different human values. We construct RobotValues through LLM-assisted scenario generation, stakeholder-grounded value extraction, image generation and automatic quality control. Using RobotValues we evaluate VLMs used in robotics and find that models exhibit default value preferences, including safety and accommodation, while underselecting privacy-prioritizing actions. When the models are instructed to prioritize specific values that conflict with their own preferences, they often fail to override their default actions, choosing incorrect actions for 80% of the time. These findings suggest that household robot evaluation should measure not only task completion or safety compliance, but also whether robots can choose among plausible actions when human values conflict.