IntellAgent: Мультиагентный фреймворк для оценки систем искусственного интеллекта в области разговорного интерфейса.

IntellAgent: A Multi-Agent Framework for Evaluating Conversational AI Systems

January 19, 2025

Авторы: Elad Levi, Ilan Kadar

cs.AI

Аннотация

Большие языковые модели (LLM) трансформируют искусственный интеллект, превращаясь в системы, ориентированные на задачи, способные к автономному планированию и выполнению. Одним из основных применений LLM являются системы разговорного искусственного интеллекта, которые должны управлять многоходовыми диалогами, интегрировать специфические для области API и соблюдать строгие политические ограничения. Однако оценка этих агентов остается значительным вызовом, поскольку традиционные методы не способны уловить сложность и изменчивость взаимодействий в реальном мире. Мы представляем IntellAgent, масштабную, открытую мультиагентную платформу, разработанную для всесторонней оценки систем разговорного искусственного интеллекта. IntellAgent автоматизирует создание разнообразных синтетических бенчмарков путем объединения графового моделирования, генерации реалистичных событий и интерактивных симуляций пользовательских агентов, управляемых политикой. Этот инновационный подход обеспечивает детальную диагностику, решая ограничения статических и ручных бенчмарков с грубыми метриками. IntellAgent представляет собой парадигмальное изменение в оценке разговорного искусственного интеллекта. Путем моделирования реалистичных многополитических сценариев на различных уровнях сложности IntellAgent улавливает тонкое взаимодействие возможностей агента и политических ограничений. В отличие от традиционных методов, он использует графовую модель политики для представления отношений, вероятностей и сложностей взаимодействия политик, обеспечивая высокодетальную диагностику. IntellAgent также выявляет критические пробелы в производительности, предлагая действенные идеи для целевой оптимизации. Его модульный, открытый дизайн поддерживает безшовную интеграцию новых областей, политик и API, способствуя воспроизводимости и сотрудничеству сообщества. Наши результаты показывают, что IntellAgent служит эффективной платформой для продвижения разговорного искусственного интеллекта, решая проблемы в мостике между исследованиями и внедрением. Платформа доступна по адресу https://github.com/plurai-ai/intellagent

English

Large Language Models (LLMs) are transforming artificial intelligence, evolving into task-oriented systems capable of autonomous planning and execution. One of the primary applications of LLMs is conversational AI systems, which must navigate multi-turn dialogues, integrate domain-specific APIs, and adhere to strict policy constraints. However, evaluating these agents remains a significant challenge, as traditional methods fail to capture the complexity and variability of real-world interactions. We introduce IntellAgent, a scalable, open-source multi-agent framework designed to evaluate conversational AI systems comprehensively. IntellAgent automates the creation of diverse, synthetic benchmarks by combining policy-driven graph modeling, realistic event generation, and interactive user-agent simulations. This innovative approach provides fine-grained diagnostics, addressing the limitations of static and manually curated benchmarks with coarse-grained metrics. IntellAgent represents a paradigm shift in evaluating conversational AI. By simulating realistic, multi-policy scenarios across varying levels of complexity, IntellAgent captures the nuanced interplay of agent capabilities and policy constraints. Unlike traditional methods, it employs a graph-based policy model to represent relationships, likelihoods, and complexities of policy interactions, enabling highly detailed diagnostics. IntellAgent also identifies critical performance gaps, offering actionable insights for targeted optimization. Its modular, open-source design supports seamless integration of new domains, policies, and APIs, fostering reproducibility and community collaboration. Our findings demonstrate that IntellAgent serves as an effective framework for advancing conversational AI by addressing challenges in bridging research and deployment. The framework is available at https://github.com/plurai-ai/intellagent