ClawArena: Het benchmarken van AI-agenten in evoluerende informatieomgevingen

Samenvatting

AI-agenten die als persistente assistenten worden ingezet, moeten correcte overtuigingen handhaven naarmate hun informatie-omgeving evolueert. In de praktijk is bewijs verspreid over heterogene bronnen die elkaar vaak tegenspreken, kan nieuwe informatie eerdere conclusies ongeldig maken, en komen gebruikersvoorkeuren aan het licht via correcties in plaats van expliciete instructies. Bestaande benchmarks veronderstellen grotendeels statische, single-authority omgevingen en evalueren niet of agenten deze complexiteit kunnen bijbenen. Wij introduceren ClawArena, een benchmark voor het evalueren van AI-agenten in evoluerende informatie-omgevingen. Elk scenario handhaaft een complete verborgen grondwaarheid, terwijl de agent alleen wordt blootgesteld aan ruisrijke, gedeeltelijke en soms tegenstrijdige sporen verspreid over multi-channel sessies, werkruimtebestanden en gefaseerde updates. Evaluatie is georganiseerd rond drie gekoppelde uitdagingen: redeneren met conflicterende bronnen, dynamische geloofsrevisie en impliciete personalisatie, waarvan de interacties leiden tot een taxonomie van 14 vraagcategorieën. Twee vraagformaten, multiple-choice (set-selectie) en op shells gebaseerde uitvoerbare controles, testen zowel redenering als grounding in de werkruimte. De huidige release bevat 64 scenario's verspreid over 8 professionele domeinen, in totaal 1.879 evaluatierondes en 365 dynamische updates. Experimenten met vijf agent-frameworks en vijf taalmodellen tonen aan dat zowel modelcapaciteit (15,4% verschil) als framework-ontwerp (9,2%) de prestaties substantieel beïnvloeden, dat zelf-evoluerende vaardigheidsframeworks model-capaciteitskloof gedeeltelijk kunnen dichten, en dat de moeilijkheidsgraad van geloofsrevisie wordt bepaald door de update-ontwerpstrategie in plaats van louter de aanwezigheid van updates. Code is beschikbaar op https://github.com/aiming-lab/ClawArena.

English

AI agents deployed as persistent assistants must maintain correct beliefs as their information environment evolves. In practice, evidence is scattered across heterogeneous sources that often contradict one another, new information can invalidate earlier conclusions, and user preferences surface through corrections rather than explicit instructions. Existing benchmarks largely assume static, single-authority settings and do not evaluate whether agents can keep up with this complexity. We introduce ClawArena, a benchmark for evaluating AI agents in evolving information environments. Each scenario maintains a complete hidden ground truth while exposing the agent only to noisy, partial, and sometimes contradictory traces across multi-channel sessions, workspace files, and staged updates. Evaluation is organized around three coupled challenges: multi-source conflict reasoning, dynamic belief revision, and implicit personalization, whose interactions yield a 14-category question taxonomy. Two question formats, multi-choice (set-selection) and shell-based executable checks, test both reasoning and workspace grounding. The current release contains 64 scenarios across 8 professional domains, totaling 1{,}879 evaluation rounds and 365 dynamic updates. Experiments on five agent frameworks and five language models show that both model capability (15.4% range) and framework design (9.2%) substantially affect performance, that self-evolving skill frameworks can partially close model-capability gaps, and that belief revision difficulty is determined by update design strategy rather than the mere presence of updates. Code is available at https://github.com/aiming-lab/ClawArena.

ClawArena: Het benchmarken van AI-agenten in evoluerende informatieomgevingen

ClawArena: Benchmarking AI Agents in Evolving Information Environments

Samenvatting

Support