Agent-ValueBench: Un benchmark integral para evaluar valores de agentes
Agent-ValueBench: A Comprehensive Benchmark for Evaluating Agent Values
May 11, 2026
Autores: Haonan Dong, Qiguan Feng, Kehan Jiang, Haoran Ye, Xin Zhang, Guojie Song
cs.AI
Resumen
Los agentes autónomos han madurado rápidamente como ejecutores de tareas y se han desplegado ampliamente a través de plataformas como OpenClaw. Las preocupaciones de seguridad han atraído, con razón, una creciente atención investigadora, y bajo ellas subyacen los valores que guían silenciosamente el comportamiento de los agentes. Sin embargo, las evaluaciones de valores existentes siguen confinadas a los LLM, dejando los valores de los agentes en gran medida inexplorados. Desde puntos de vista intuitivos, empíricos y teóricos, demostramos que los valores de un agente divergen de los de su LLM subyacente, y que la modalidad agentiva introduce además desafíos a nivel de conjunto de datos, de evaluación y de sistema que están ausentes en los protocolos exclusivamente textuales. Cerramos esta brecha con Agent-ValueBench, la primera referencia dedicada a los valores de los agentes. Incluye 394 entornos ejecutables en 16 dominios, ofreciendo 4.335 tareas de conflicto de valores que abarcan 28 sistemas de valores y 332 dimensiones. Cada instancia es co-sintetizada a través de nuestro canal de extremo a extremo diseñado específicamente y curada por instancia por psicólogos profesionales. Cada tarea incluye dos trayectorias doradas alineadas con los polos cuyos puntos de control anclan un evaluador basado en rúbrica a nivel de trayectoria. Al evaluar 14 modelos frontera, tanto propietarios como de pesos abiertos, en 4 plataformas principales, descubrimos tres hallazgos concertados. Los valores de los agentes se manifiestan primero como una Marea de Valores, una homogeneidad entre modelos por debajo de contracorrientes interpretables. Esta marea se curva de forma no aditiva bajo la atracción de la plataforma, y aún más decisivamente bajo un guiado deliberado mediante habilidades integradas. En conjunto, estos resultados indican que la palanca de alineación de agentes se está desplazando de la alineación clásica de modelos y el guiado por instrucciones hacia la alineación de la plataforma y el guiado mediante habilidades.
English
Autonomous agents have rapidly matured as task executors and seen widespread deployment via harnesses such as OpenClaw. Safety concerns have rightly drawn growing research attention, and beneath them lie the values silently steering agent behavior. Existing value benchmarks, however, remain confined to LLMs, leaving agent values largely uncharted. From intuitive, empirical, and theoretical vantage points, we show that an agent's values diverge from those of its underlying LLM, and the agentic modality further introduces dataset-, evaluation-, and system-level challenges absent from text-only protocols. We close this gap with Agent-ValueBench, the first benchmark dedicated to agent values. It features 394 executable environments across 16 domains, offering 4,335 value-conflict tasks that cover 28 value systems and 332 dimensions. Every instance is co-synthesized through our purpose-built end-to-end pipeline and curated per-instance by professional psychologists. Each task ships with two pole-aligned golden trajectories whose checkpoints anchor a trajectory-level rubric-based judge. Benchmarking 14 frontier proprietary and open-weights models across 4 mainstream harnesses, we uncover three concerted findings. Agent values first manifest as a Value Tide of cross-model homogeneity beneath interpretable counter-currents. This tide bends non-additively under harness pull, and yet more decisively under deliberate steering via embedded skills. Together these results signal that the agent-alignment lever is shifting from classical model alignment and prompt steering toward harness alignment and skill steering.