Graph2Eval: Geração Automática de Tarefas Multimodais para Agentes via Grafos de Conhecimento

Graph2Eval: Automatic Multimodal Task Generation for Agents via Knowledge Graphs

October 1, 2025

Autores: Yurun Chen, Xavier Hu, Yuhan Liu, Ziqi Wang, Zeyi Liao, Lin Chen, Feng Wei, Yuxi Qian, Bo Zheng, Keting Yin, Shengyu Zhang

cs.AI

Resumo

À medida que os agentes impulsionados por LLMs multimodais continuam a avançar em autonomia e generalização, a avaliação baseada em conjuntos de dados estáticos não consegue mais avaliar adequadamente suas verdadeiras capacidades em ambientes dinâmicos e tarefas diversas. Os métodos existentes de geração de dados sintéticos baseados em LLMs são amplamente projetados para treinamento e avaliação de LLMs e, portanto, não podem ser aplicados diretamente a tarefas de agentes que exigem o uso de ferramentas e capacidades interativas. Embora estudos recentes tenham explorado a geração automática de tarefas para agentes com LLMs, a maioria dos esforços permanece limitada à análise de texto ou imagem, sem modelar sistematicamente interações de múltiplos passos em ambientes web. Para enfrentar esses desafios, propomos o Graph2Eval, um framework baseado em grafos de conhecimento que gera automaticamente tanto tarefas de compreensão de documentos multimodais quanto tarefas de interação web, permitindo uma avaliação abrangente das capacidades de raciocínio, colaboração e interação dos agentes. Em nossa abordagem, grafos de conhecimento construídos a partir de dados externos de múltiplas fontes servem como o espaço de tarefas, onde traduzimos relações semânticas em tarefas multimodais estruturadas usando amostragem de subgrafos, modelos de tarefas e meta-caminhos. Um pipeline de filtragem em múltiplos estágios, baseado em alcance de nós, pontuação de LLM e análise de similaridade, é aplicado para garantir a qualidade e a executabilidade das tarefas geradas. Além disso, o Graph2Eval suporta a avaliação de ponta a ponta de múltiplos tipos de agentes (Agente Único, Multi-Agente, Agente Web) e mede as capacidades de raciocínio, colaboração e interação. Instanciamos o framework com o Graph2Eval-Bench, um conjunto de dados curado de 1.319 tarefas abrangendo cenários de compreensão de documentos e interação web. Experimentos mostram que o Graph2Eval gera tarefas de forma eficiente que diferenciam o desempenho de agentes e modelos, revelando lacunas no raciocínio, colaboração e interação web em diferentes configurações e oferecendo uma nova perspectiva para a avaliação de agentes.

English

As multimodal LLM-driven agents continue to advance in autonomy and generalization, evaluation based on static datasets can no longer adequately assess their true capabilities in dynamic environments and diverse tasks. Existing LLM-based synthetic data methods are largely designed for LLM training and evaluation, and thus cannot be directly applied to agent tasks that require tool use and interactive capabilities. While recent studies have explored automatic agent task generation with LLMs, most efforts remain limited to text or image analysis, without systematically modeling multi-step interactions in web environments. To address these challenges, we propose Graph2Eval, a knowledge graph-based framework that automatically generates both multimodal document comprehension tasks and web interaction tasks, enabling comprehensive evaluation of agents' reasoning, collaboration, and interactive capabilities. In our approach, knowledge graphs constructed from multi-source external data serve as the task space, where we translate semantic relations into structured multimodal tasks using subgraph sampling, task templates, and meta-paths. A multi-stage filtering pipeline based on node reachability, LLM scoring, and similarity analysis is applied to guarantee the quality and executability of the generated tasks. Furthermore, Graph2Eval supports end-to-end evaluation of multiple agent types (Single-Agent, Multi-Agent, Web Agent) and measures reasoning, collaboration, and interaction capabilities. We instantiate the framework with Graph2Eval-Bench, a curated dataset of 1,319 tasks spanning document comprehension and web interaction scenarios. Experiments show that Graph2Eval efficiently generates tasks that differentiate agent and model performance, revealing gaps in reasoning, collaboration, and web interaction across different settings and offering a new perspective for agent evaluation.