Graph2Eval: Automatische Generatie van Multimodale Taken voor Agents via Kennisgrafen

Graph2Eval: Automatic Multimodal Task Generation for Agents via Knowledge Graphs

October 1, 2025

Auteurs: Yurun Chen, Xavier Hu, Yuhan Liu, Ziqi Wang, Zeyi Liao, Lin Chen, Feng Wei, Yuxi Qian, Bo Zheng, Keting Yin, Shengyu Zhang

cs.AI

Samenvatting

Naarmate multimodale LLM-gestuurde agenten blijven vooruitgaan in autonomie en generalisatie, kan evaluatie op basis van statische datasets niet langer adequaat hun werkelijke capaciteiten in dynamische omgevingen en diverse taken beoordelen. Bestaande LLM-gebaseerde methoden voor synthetische data zijn grotendeels ontworpen voor LLM-training en -evaluatie, en kunnen daarom niet direct worden toegepast op agenttaken die gereedschapsgebruik en interactieve capaciteiten vereisen. Hoewel recente studies het automatisch genereren van agenttaken met LLMs hebben onderzocht, blijven de meeste inspanningen beperkt tot tekst- of beeldanalyse, zonder systematisch multi-stapsinteracties in webomgevingen te modelleren. Om deze uitdagingen aan te pakken, stellen we Graph2Eval voor, een op kennisgrafieken gebaseerd framework dat zowel multimodale documentbegriptaken als webinteractietaken automatisch genereert, waardoor een uitgebreide evaluatie van de redeneer-, samenwerkings- en interactiecapaciteiten van agenten mogelijk wordt. In onze aanpak dienen kennisgrafieken die zijn opgebouwd uit multi-bron externe data als de taakruimte, waar we semantische relaties vertalen naar gestructureerde multimodale taken met behulp van subgrafemonstering, taaksjablonen en meta-paden. Een meerfasen filterpipeline gebaseerd op bereikbaarheid van knooppunten, LLM-scoring en gelijkenisanalyse wordt toegepast om de kwaliteit en uitvoerbaarheid van de gegenereerde taken te garanderen. Bovendien ondersteunt Graph2Eval end-to-end evaluatie van meerdere agenttypen (Single-Agent, Multi-Agent, Web Agent) en meet het redeneer-, samenwerkings- en interactiecapaciteiten. We concretiseren het framework met Graph2Eval-Bench, een gecureerde dataset van 1.319 taken die documentbegrip- en webinteractiescenario's omvatten. Experimenten tonen aan dat Graph2Eval efficiënt taken genereert die de prestaties van agenten en modellen differentiëren, hiaten in redeneren, samenwerken en webinteractie in verschillende settings blootleggen en een nieuw perspectief bieden voor agentevaluatie.

English

As multimodal LLM-driven agents continue to advance in autonomy and generalization, evaluation based on static datasets can no longer adequately assess their true capabilities in dynamic environments and diverse tasks. Existing LLM-based synthetic data methods are largely designed for LLM training and evaluation, and thus cannot be directly applied to agent tasks that require tool use and interactive capabilities. While recent studies have explored automatic agent task generation with LLMs, most efforts remain limited to text or image analysis, without systematically modeling multi-step interactions in web environments. To address these challenges, we propose Graph2Eval, a knowledge graph-based framework that automatically generates both multimodal document comprehension tasks and web interaction tasks, enabling comprehensive evaluation of agents' reasoning, collaboration, and interactive capabilities. In our approach, knowledge graphs constructed from multi-source external data serve as the task space, where we translate semantic relations into structured multimodal tasks using subgraph sampling, task templates, and meta-paths. A multi-stage filtering pipeline based on node reachability, LLM scoring, and similarity analysis is applied to guarantee the quality and executability of the generated tasks. Furthermore, Graph2Eval supports end-to-end evaluation of multiple agent types (Single-Agent, Multi-Agent, Web Agent) and measures reasoning, collaboration, and interaction capabilities. We instantiate the framework with Graph2Eval-Bench, a curated dataset of 1,319 tasks spanning document comprehension and web interaction scenarios. Experiments show that Graph2Eval efficiently generates tasks that differentiate agent and model performance, revealing gaps in reasoning, collaboration, and web interaction across different settings and offering a new perspective for agent evaluation.