Agent-ValueBench: Ein umfassender Benchmark zur Bewertung von Agentenwerten
Agent-ValueBench: A Comprehensive Benchmark for Evaluating Agent Values
May 11, 2026
Autoren: Haonan Dong, Qiguan Feng, Kehan Jiang, Haoran Ye, Xin Zhang, Guojie Song
cs.AI
Zusammenfassung
Autonome Agenten haben sich rasch zu Aufgabenausführern entwickelt und werden durch Rahmenwerke wie OpenClaw weit verbreitet eingesetzt. Sicherheitsbedenken haben zu Recht wachsende Forschungsaufmerksamkeit erhalten, und darunter liegen die Werte, die das Verhalten von Agenten still steuern. Bestehende Wertbenchmarks beschränken sich jedoch weiterhin auf LLMs, während die Werte von Agenten weitgehend unerforscht bleiben. Aus intuitiver, empirischer und theoretischer Perspektive zeigen wir, dass die Werte eines Agenten von denen seines zugrunde liegenden LLM abweichen und die agentische Modalität zudem auf Daten-, Evaluations- und Systemebene Herausforderungen einführt, die in rein textbasierten Protokollen fehlen. Wir schließen diese Lücke mit Agent-ValueBench, dem ersten Benchmark, das den Werten von Agenten gewidmet ist. Es umfasst 394 ausführbare Umgebungen in 16 Bereichen und bietet 4.335 Aufgaben zu Wertekonflikten, die 28 Wertesysteme und 332 Dimensionen abdecken. Jede Instanz wird durch unsere eigens entwickelte End-to-End-Pipeline gemeinsam synthetisiert und von professionellen Psychologen instanzweise kuratiert. Jede Aufgabe wird mit zwei polausgerichteten goldenen Trajektorien geliefert, deren Prüfpunkte einen trajektorienbasierten rubrikbasierten Bewerter verankern. Durch das Benchmarking von 14 führenden proprietären Modellen und Open-Weights-Modellen in 4 gängigen Rahmenwerken entdecken wir drei zusammenhängende Ergebnisse. Agentenwerte manifestieren sich zunächst als eine Werteflut von modellübergreifender Homogenität unter interpretierbaren Gegenströmungen. Diese Flut biegt sich nicht-additiv unter dem Zug des Rahmenwerks und noch entschiedener unter gezielter Steuerung durch eingebettete Fähigkeiten. Zusammen signalisieren diese Ergebnisse, dass sich der Hebel für die Agentenausrichtung von der klassischen Modellausrichtung und der Prompt-Steuerung hin zur Rahmenwerkausrichtung und Fähigkeitssteuerung verschiebt.
English
Autonomous agents have rapidly matured as task executors and seen widespread deployment via harnesses such as OpenClaw. Safety concerns have rightly drawn growing research attention, and beneath them lie the values silently steering agent behavior. Existing value benchmarks, however, remain confined to LLMs, leaving agent values largely uncharted. From intuitive, empirical, and theoretical vantage points, we show that an agent's values diverge from those of its underlying LLM, and the agentic modality further introduces dataset-, evaluation-, and system-level challenges absent from text-only protocols. We close this gap with Agent-ValueBench, the first benchmark dedicated to agent values. It features 394 executable environments across 16 domains, offering 4,335 value-conflict tasks that cover 28 value systems and 332 dimensions. Every instance is co-synthesized through our purpose-built end-to-end pipeline and curated per-instance by professional psychologists. Each task ships with two pole-aligned golden trajectories whose checkpoints anchor a trajectory-level rubric-based judge. Benchmarking 14 frontier proprietary and open-weights models across 4 mainstream harnesses, we uncover three concerted findings. Agent values first manifest as a Value Tide of cross-model homogeneity beneath interpretable counter-currents. This tide bends non-additively under harness pull, and yet more decisively under deliberate steering via embedded skills. Together these results signal that the agent-alignment lever is shifting from classical model alignment and prompt steering toward harness alignment and skill steering.