ClawMark: Un Benchmark del Mondo Reale per Agenti Collaborativi Multimodali, Multi-Turn e Multi-Giorno

Abstract

Gli agenti basati su modelli linguistici sono sempre più utilizzati come colleghi persistenti che assistono gli utenti nell'arco di più giornate lavorative. In tali flussi di lavoro, l'ambiente circostante può cambiare indipendentemente dall'agente: arrivano nuove email, gli impegni in calendario si modificano, i record della knowledge base vengono aggiornati e nuove evidenze compaiono tra immagini, PDF scannerizzati, audio, video e fogli di calcolo. I benchmark esistenti non valutano adeguatamente questo scenario, poiché tipicamente vengono eseguiti in un singolo episodio statico e rimangono largamente incentrati sul testo. Introduciamo , un benchmark per agenti colleghi costruito attorno a task multi-turn e multi-giorno, un ambiente di servizio sandbox con stato che evolve tra un turno e l'altro, e una verifica basata su regole. L'attuale release contiene 100 task across 13 scenari professionali, eseguiti contro cinque servizi sandbox con stato (file system, email, calendario, knowledge base, foglio di calcolo) e valutati da 1537 checker deterministici in Python sullo stato del servizio post-esecuzione; non viene utilizzato alcun LLM come giudice durante la valutazione. Analizziamo sette sistemi agenti all'avanguardia. Il modello più performante raggiunge un punteggio ponderato del 75,8%, ma il miglior Task Success rigoroso è solo del 20,0%, indicando che i progressi parziali sono comuni mentre il completamento end-to-end completo del flusso di lavoro rimane raro. L'analisi a livello di turno mostra che le prestazioni calano dopo il primo aggiornamento esogeno dell'ambiente, evidenziando l'adattamento allo stato che cambia come una sfida aperta chiave. Rilasciamo il benchmark, l'harness di valutazione e la pipeline di costruzione per supportare una valutazione riproducibile degli agenti colleghi.

English

Language-model agents are increasingly used as persistent coworkers that assist users across multiple working days. During such workflows, the surrounding environment may change independently of the agent: new emails arrive, calendar entries shift, knowledge-base records are updated, and evidence appears across images, scanned PDFs, audio, video, and spreadsheets. Existing benchmarks do not adequately evaluate this setting because they typically run within a single static episode and remain largely text-centric. We introduce , a benchmark for coworker agents built around multi-turn multi-day tasks, a stateful sandboxed service environment whose state evolves between turns, and rule-based verification. The current release contains 100 tasks across 13 professional scenarios, executed against five stateful sandboxed services (filesystem, email, calendar, knowledge base, spreadsheet) and scored by 1537 deterministic Python checkers over post-execution service state; no LLM-as-judge is invoked during scoring. We benchmark seven frontier agent systems. The strongest model reaches 75.8 weighted score, but the best strict Task Success is only 20.0\%, indicating that partial progress is common while complete end-to-end workflow completion remains rare. Turn-level analysis shows that performance drops after the first exogenous environment update, highlighting adaptation to changing state as a key open challenge. We release the benchmark, evaluation harness, and construction pipeline to support reproducible coworker-agent evaluation.

ClawMark: Un Benchmark del Mondo Reale per Agenti Collaborativi Multimodali, Multi-Turn e Multi-Giorno

ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents

Abstract

Support