Graph2Eval : Génération automatique de tâches multimodales pour les agents via des graphes de connaissances

Graph2Eval: Automatic Multimodal Task Generation for Agents via Knowledge Graphs

October 1, 2025

papers.authors: Yurun Chen, Xavier Hu, Yuhan Liu, Ziqi Wang, Zeyi Liao, Lin Chen, Feng Wei, Yuxi Qian, Bo Zheng, Keting Yin, Shengyu Zhang

cs.AI

papers.abstract

Alors que les agents pilotés par des modèles de langage multimodaux (LLM) continuent de progresser en termes d'autonomie et de généralisation, l'évaluation basée sur des ensembles de données statiques ne permet plus d'appréhender adéquatement leurs véritables capacités dans des environnements dynamiques et des tâches variées. Les méthodes existantes de génération de données synthétiques basées sur les LLM sont principalement conçues pour l'entraînement et l'évaluation des LLM, et ne peuvent donc pas être directement appliquées aux tâches d'agents nécessitant l'utilisation d'outils et des capacités interactives. Bien que des études récentes aient exploré la génération automatique de tâches pour les agents à l'aide des LLM, la plupart des efforts se limitent à l'analyse de texte ou d'images, sans modéliser systématiquement les interactions multi-étapes dans des environnements web. Pour relever ces défis, nous proposons Graph2Eval, un cadre basé sur des graphes de connaissances qui génère automatiquement des tâches de compréhension de documents multimodaux et des tâches d'interaction web, permettant une évaluation complète des capacités de raisonnement, de collaboration et d'interaction des agents. Dans notre approche, les graphes de connaissances construits à partir de données externes multi-sources servent d'espace de tâches, où nous traduisons les relations sémantiques en tâches multimodales structurées en utilisant l'échantillonnage de sous-graphes, des modèles de tâches et des méta-chemins. Un pipeline de filtrage multi-étapes basé sur l'accessibilité des nœuds, le scoring par LLM et l'analyse de similarité est appliqué pour garantir la qualité et l'exécutabilité des tâches générées. De plus, Graph2Eval prend en charge l'évaluation de bout en bout de plusieurs types d'agents (Agent Unique, Multi-Agents, Agent Web) et mesure les capacités de raisonnement, de collaboration et d'interaction. Nous instancions ce cadre avec Graph2Eval-Bench, un ensemble de données soigneusement sélectionné comprenant 1 319 tâches couvrant des scénarios de compréhension de documents et d'interaction web. Les expériences montrent que Graph2Eval génère efficacement des tâches qui différencient les performances des agents et des modèles, révélant des lacunes dans le raisonnement, la collaboration et l'interaction web dans différents contextes, et offrant une nouvelle perspective pour l'évaluation des agents.

English

As multimodal LLM-driven agents continue to advance in autonomy and generalization, evaluation based on static datasets can no longer adequately assess their true capabilities in dynamic environments and diverse tasks. Existing LLM-based synthetic data methods are largely designed for LLM training and evaluation, and thus cannot be directly applied to agent tasks that require tool use and interactive capabilities. While recent studies have explored automatic agent task generation with LLMs, most efforts remain limited to text or image analysis, without systematically modeling multi-step interactions in web environments. To address these challenges, we propose Graph2Eval, a knowledge graph-based framework that automatically generates both multimodal document comprehension tasks and web interaction tasks, enabling comprehensive evaluation of agents' reasoning, collaboration, and interactive capabilities. In our approach, knowledge graphs constructed from multi-source external data serve as the task space, where we translate semantic relations into structured multimodal tasks using subgraph sampling, task templates, and meta-paths. A multi-stage filtering pipeline based on node reachability, LLM scoring, and similarity analysis is applied to guarantee the quality and executability of the generated tasks. Furthermore, Graph2Eval supports end-to-end evaluation of multiple agent types (Single-Agent, Multi-Agent, Web Agent) and measures reasoning, collaboration, and interaction capabilities. We instantiate the framework with Graph2Eval-Bench, a curated dataset of 1,319 tasks spanning document comprehension and web interaction scenarios. Experiments show that Graph2Eval efficiently generates tasks that differentiate agent and model performance, revealing gaps in reasoning, collaboration, and web interaction across different settings and offering a new perspective for agent evaluation.