Graph2Eval: Automatische Generierung multimodaler Aufgaben für Agenten mittels Wissensgraphen

Graph2Eval: Automatic Multimodal Task Generation for Agents via Knowledge Graphs

October 1, 2025

papers.authors: Yurun Chen, Xavier Hu, Yuhan Liu, Ziqi Wang, Zeyi Liao, Lin Chen, Feng Wei, Yuxi Qian, Bo Zheng, Keting Yin, Shengyu Zhang

cs.AI

papers.abstract

Da multimodale, von LLM-gesteuerte Agenten in Bezug auf Autonomie und Generalisierung weiter voranschreiten, kann die Bewertung anhand statischer Datensätze ihre tatsächlichen Fähigkeiten in dynamischen Umgebungen und bei vielfältigen Aufgaben nicht mehr angemessen erfassen. Bestehende Methoden zur Erzeugung synthetischer Daten auf LLM-Basis sind weitgehend für das Training und die Bewertung von LLMs konzipiert und können daher nicht direkt auf Agentenaufgaben angewendet werden, die den Einsatz von Werkzeugen und interaktive Fähigkeiten erfordern. Während neuere Studien die automatische Generierung von Agentenaufgaben mit LLMs untersucht haben, beschränken sich die meisten Bemühungen auf die Analyse von Text oder Bildern, ohne mehrstufige Interaktionen in Webumgebungen systematisch zu modellieren. Um diese Herausforderungen zu bewältigen, schlagen wir Graph2Eval vor, ein auf Wissensgraphen basierendes Framework, das sowohl multimodale Aufgaben zur Dokumentenverständnis als auch Webinteraktionsaufgaben automatisch generiert und so eine umfassende Bewertung der Schlussfolgerungs-, Kollaborations- und Interaktionsfähigkeiten von Agenten ermöglicht. In unserem Ansatz dienen Wissensgraphen, die aus mehreren externen Datenquellen konstruiert werden, als Aufgabenraum, in dem wir semantische Beziehungen mithilfe von Subgraph-Sampling, Aufgabenvorlagen und Meta-Pfaden in strukturierte multimodale Aufgaben übersetzen. Eine mehrstufige Filterpipeline, die auf Knotenerreichbarkeit, LLM-Bewertung und Ähnlichkeitsanalyse basiert, wird angewendet, um die Qualität und Ausführbarkeit der generierten Aufgaben zu gewährleisten. Darüber hinaus unterstützt Graph2Eval die End-to-End-Bewertung verschiedener Agententypen (Einzelagent, Multi-Agent, Web-Agent) und misst Schlussfolgerungs-, Kollaborations- und Interaktionsfähigkeiten. Wir instanziieren das Framework mit Graph2Eval-Bench, einem kuratierten Datensatz von 1.319 Aufgaben, die Szenarien zur Dokumentenverständnis und Webinteraktion abdecken. Experimente zeigen, dass Graph2Eval effizient Aufgaben generiert, die die Leistung von Agenten und Modellen differenzieren, Lücken in der Schlussfolgerung, Kollaboration und Webinteraktion in verschiedenen Settings aufdecken und eine neue Perspektive für die Bewertung von Agenten bieten.

English

As multimodal LLM-driven agents continue to advance in autonomy and generalization, evaluation based on static datasets can no longer adequately assess their true capabilities in dynamic environments and diverse tasks. Existing LLM-based synthetic data methods are largely designed for LLM training and evaluation, and thus cannot be directly applied to agent tasks that require tool use and interactive capabilities. While recent studies have explored automatic agent task generation with LLMs, most efforts remain limited to text or image analysis, without systematically modeling multi-step interactions in web environments. To address these challenges, we propose Graph2Eval, a knowledge graph-based framework that automatically generates both multimodal document comprehension tasks and web interaction tasks, enabling comprehensive evaluation of agents' reasoning, collaboration, and interactive capabilities. In our approach, knowledge graphs constructed from multi-source external data serve as the task space, where we translate semantic relations into structured multimodal tasks using subgraph sampling, task templates, and meta-paths. A multi-stage filtering pipeline based on node reachability, LLM scoring, and similarity analysis is applied to guarantee the quality and executability of the generated tasks. Furthermore, Graph2Eval supports end-to-end evaluation of multiple agent types (Single-Agent, Multi-Agent, Web Agent) and measures reasoning, collaboration, and interaction capabilities. We instantiate the framework with Graph2Eval-Bench, a curated dataset of 1,319 tasks spanning document comprehension and web interaction scenarios. Experiments show that Graph2Eval efficiently generates tasks that differentiate agent and model performance, revealing gaps in reasoning, collaboration, and web interaction across different settings and offering a new perspective for agent evaluation.