Graph2Eval: Автоматическая генерация мультимодальных задач для агентов с использованием графов знаний

Graph2Eval: Automatic Multimodal Task Generation for Agents via Knowledge Graphs

October 1, 2025

Авторы: Yurun Chen, Xavier Hu, Yuhan Liu, Ziqi Wang, Zeyi Liao, Lin Chen, Feng Wei, Yuxi Qian, Bo Zheng, Keting Yin, Shengyu Zhang

cs.AI

Аннотация

По мере того как мультимодальные агенты, управляемые крупными языковыми моделями (LLM), продолжают развиваться в плане автономности и обобщения, оценка на основе статических наборов данных больше не может адекватно отражать их реальные возможности в динамичных средах и разнообразных задачах. Существующие методы синтетических данных на основе LLM в основном разработаны для обучения и оценки LLM и, следовательно, не могут быть напрямую применены к задачам агентов, требующим использования инструментов и интерактивных возможностей. Хотя в последних исследованиях изучалась автоматическая генерация задач для агентов с использованием LLM, большинство усилий ограничиваются анализом текста или изображений, без систематического моделирования многошаговых взаимодействий в веб-средах. Для решения этих проблем мы предлагаем Graph2Eval — основанную на графах знаний структуру, которая автоматически генерирует как мультимодальные задачи на понимание документов, так и задачи на взаимодействие с веб-средой, что позволяет проводить всестороннюю оценку способностей агентов к рассуждению, сотрудничеству и взаимодействию. В нашем подходе графы знаний, построенные из многоисточниковых внешних данных, служат пространством задач, где мы преобразуем семантические отношения в структурированные мультимодальные задачи с использованием выборки подграфов, шаблонов задач и метапутей. Многоэтапный процесс фильтрации, основанный на достижимости узлов, оценке LLM и анализе сходства, применяется для обеспечения качества и выполнимости генерируемых задач. Кроме того, Graph2Eval поддерживает сквозную оценку различных типов агентов (одиночный агент, мультиагент, веб-агент) и измеряет способности к рассуждению, сотрудничеству и взаимодействию. Мы реализуем эту структуру с помощью Graph2Eval-Bench — тщательно отобранного набора данных, включающего 1319 задач, охватывающих сценарии понимания документов и взаимодействия с веб-средой. Эксперименты показывают, что Graph2Eval эффективно генерирует задачи, которые дифференцируют производительность агентов и моделей, выявляя пробелы в рассуждении, сотрудничестве и веб-взаимодействии в различных условиях, и предлагают новый взгляд на оценку агентов.

English

As multimodal LLM-driven agents continue to advance in autonomy and generalization, evaluation based on static datasets can no longer adequately assess their true capabilities in dynamic environments and diverse tasks. Existing LLM-based synthetic data methods are largely designed for LLM training and evaluation, and thus cannot be directly applied to agent tasks that require tool use and interactive capabilities. While recent studies have explored automatic agent task generation with LLMs, most efforts remain limited to text or image analysis, without systematically modeling multi-step interactions in web environments. To address these challenges, we propose Graph2Eval, a knowledge graph-based framework that automatically generates both multimodal document comprehension tasks and web interaction tasks, enabling comprehensive evaluation of agents' reasoning, collaboration, and interactive capabilities. In our approach, knowledge graphs constructed from multi-source external data serve as the task space, where we translate semantic relations into structured multimodal tasks using subgraph sampling, task templates, and meta-paths. A multi-stage filtering pipeline based on node reachability, LLM scoring, and similarity analysis is applied to guarantee the quality and executability of the generated tasks. Furthermore, Graph2Eval supports end-to-end evaluation of multiple agent types (Single-Agent, Multi-Agent, Web Agent) and measures reasoning, collaboration, and interaction capabilities. We instantiate the framework with Graph2Eval-Bench, a curated dataset of 1,319 tasks spanning document comprehension and web interaction scenarios. Experiments show that Graph2Eval efficiently generates tasks that differentiate agent and model performance, revealing gaps in reasoning, collaboration, and web interaction across different settings and offering a new perspective for agent evaluation.