Graph2Eval: Generación Automática de Tareas Multimodales para Agentes mediante Grafos de Conocimiento

Graph2Eval: Automatic Multimodal Task Generation for Agents via Knowledge Graphs

October 1, 2025

Autores: Yurun Chen, Xavier Hu, Yuhan Liu, Ziqi Wang, Zeyi Liao, Lin Chen, Feng Wei, Yuxi Qian, Bo Zheng, Keting Yin, Shengyu Zhang

cs.AI

Resumen

A medida que los agentes impulsados por modelos de lenguaje multimodal (LLM) continúan avanzando en autonomía y generalización, la evaluación basada en conjuntos de datos estáticos ya no puede evaluar adecuadamente sus verdaderas capacidades en entornos dinámicos y tareas diversas. Los métodos existentes de generación de datos sintéticos basados en LLM están diseñados principalmente para el entrenamiento y evaluación de LLM, por lo que no pueden aplicarse directamente a tareas de agentes que requieren el uso de herramientas y capacidades interactivas. Si bien estudios recientes han explorado la generación automática de tareas para agentes utilizando LLM, la mayoría de los esfuerzos se limitan al análisis de texto o imágenes, sin modelar sistemáticamente interacciones de múltiples pasos en entornos web. Para abordar estos desafíos, proponemos Graph2Eval, un marco basado en grafos de conocimiento que genera automáticamente tareas de comprensión de documentos multimodales y tareas de interacción web, permitiendo una evaluación integral de las capacidades de razonamiento, colaboración e interacción de los agentes. En nuestro enfoque, los grafos de conocimiento construidos a partir de datos externos de múltiples fuentes sirven como el espacio de tareas, donde traducimos relaciones semánticas en tareas multimodales estructuradas utilizando muestreo de subgrafos, plantillas de tareas y meta-rutas. Se aplica una canalización de filtrado de múltiples etapas basada en accesibilidad de nodos, puntuación de LLM y análisis de similitud para garantizar la calidad y ejecutabilidad de las tareas generadas. Además, Graph2Eval permite la evaluación de extremo a extremo de múltiples tipos de agentes (Agente Único, Multi-Agente, Agente Web) y mide las capacidades de razonamiento, colaboración e interacción. Instanciamos el marco con Graph2Eval-Bench, un conjunto de datos curado de 1,319 tareas que abarcan escenarios de comprensión de documentos e interacción web. Los experimentos muestran que Graph2Eval genera eficientemente tareas que diferencian el rendimiento de los agentes y modelos, revelando brechas en razonamiento, colaboración e interacción web en diferentes configuraciones, ofreciendo una nueva perspectiva para la evaluación de agentes.

English

As multimodal LLM-driven agents continue to advance in autonomy and generalization, evaluation based on static datasets can no longer adequately assess their true capabilities in dynamic environments and diverse tasks. Existing LLM-based synthetic data methods are largely designed for LLM training and evaluation, and thus cannot be directly applied to agent tasks that require tool use and interactive capabilities. While recent studies have explored automatic agent task generation with LLMs, most efforts remain limited to text or image analysis, without systematically modeling multi-step interactions in web environments. To address these challenges, we propose Graph2Eval, a knowledge graph-based framework that automatically generates both multimodal document comprehension tasks and web interaction tasks, enabling comprehensive evaluation of agents' reasoning, collaboration, and interactive capabilities. In our approach, knowledge graphs constructed from multi-source external data serve as the task space, where we translate semantic relations into structured multimodal tasks using subgraph sampling, task templates, and meta-paths. A multi-stage filtering pipeline based on node reachability, LLM scoring, and similarity analysis is applied to guarantee the quality and executability of the generated tasks. Furthermore, Graph2Eval supports end-to-end evaluation of multiple agent types (Single-Agent, Multi-Agent, Web Agent) and measures reasoning, collaboration, and interaction capabilities. We instantiate the framework with Graph2Eval-Bench, a curated dataset of 1,319 tasks spanning document comprehension and web interaction scenarios. Experiments show that Graph2Eval efficiently generates tasks that differentiate agent and model performance, revealing gaps in reasoning, collaboration, and web interaction across different settings and offering a new perspective for agent evaluation.