Graph2Eval: Generazione Automatica di Task Multimodali per Agenti tramite Grafi della Conoscenza

Graph2Eval: Automatic Multimodal Task Generation for Agents via Knowledge Graphs

October 1, 2025

Autori: Yurun Chen, Xavier Hu, Yuhan Liu, Ziqi Wang, Zeyi Liao, Lin Chen, Feng Wei, Yuxi Qian, Bo Zheng, Keting Yin, Shengyu Zhang

cs.AI

Abstract

Man mano che gli agenti guidati da LLM multimodali continuano a progredire in autonomia e generalizzazione, la valutazione basata su dataset statici non è più in grado di valutare adeguatamente le loro vere capacità in ambienti dinamici e compiti diversificati. I metodi esistenti per la generazione di dati sintetici basati su LLM sono in gran parte progettati per l'addestramento e la valutazione degli LLM, e quindi non possono essere applicati direttamente ai compiti degli agenti che richiedono l'uso di strumenti e capacità interattive. Sebbene studi recenti abbiano esplorato la generazione automatica di compiti per agenti con LLM, la maggior parte degli sforzi rimane limitata all'analisi di testo o immagini, senza modellare sistematicamente interazioni multi-step in ambienti web. Per affrontare queste sfide, proponiamo Graph2Eval, un framework basato su grafi di conoscenza che genera automaticamente sia compiti di comprensione di documenti multimodali che compiti di interazione web, consentendo una valutazione completa delle capacità di ragionamento, collaborazione e interazione degli agenti. Nel nostro approccio, i grafi di conoscenza costruiti da dati esterni multi-sorgente fungono da spazio dei compiti, dove traduciamo le relazioni semantiche in compiti multimodali strutturati utilizzando campionamento di sottografi, modelli di compiti e meta-percorsi. Una pipeline di filtraggio multi-stadio basata su raggiungibilità dei nodi, punteggio LLM e analisi di similarità viene applicata per garantire la qualità e l'eseguibilità dei compiti generati. Inoltre, Graph2Eval supporta la valutazione end-to-end di più tipi di agenti (Agente Singolo, Multi-Agente, Agente Web) e misura le capacità di ragionamento, collaborazione e interazione. Istanziamo il framework con Graph2Eval-Bench, un dataset curato di 1.319 compiti che coprono scenari di comprensione di documenti e interazione web. Gli esperimenti mostrano che Graph2Eval genera in modo efficiente compiti che differenziano le prestazioni degli agenti e dei modelli, rivelando lacune nel ragionamento, nella collaborazione e nell'interazione web in diversi contesti e offrendo una nuova prospettiva per la valutazione degli agenti.

English

As multimodal LLM-driven agents continue to advance in autonomy and generalization, evaluation based on static datasets can no longer adequately assess their true capabilities in dynamic environments and diverse tasks. Existing LLM-based synthetic data methods are largely designed for LLM training and evaluation, and thus cannot be directly applied to agent tasks that require tool use and interactive capabilities. While recent studies have explored automatic agent task generation with LLMs, most efforts remain limited to text or image analysis, without systematically modeling multi-step interactions in web environments. To address these challenges, we propose Graph2Eval, a knowledge graph-based framework that automatically generates both multimodal document comprehension tasks and web interaction tasks, enabling comprehensive evaluation of agents' reasoning, collaboration, and interactive capabilities. In our approach, knowledge graphs constructed from multi-source external data serve as the task space, where we translate semantic relations into structured multimodal tasks using subgraph sampling, task templates, and meta-paths. A multi-stage filtering pipeline based on node reachability, LLM scoring, and similarity analysis is applied to guarantee the quality and executability of the generated tasks. Furthermore, Graph2Eval supports end-to-end evaluation of multiple agent types (Single-Agent, Multi-Agent, Web Agent) and measures reasoning, collaboration, and interaction capabilities. We instantiate the framework with Graph2Eval-Bench, a curated dataset of 1,319 tasks spanning document comprehension and web interaction scenarios. Experiments show that Graph2Eval efficiently generates tasks that differentiate agent and model performance, revealing gaps in reasoning, collaboration, and web interaction across different settings and offering a new perspective for agent evaluation.