IntellAgent: Un marco de trabajo multiagente para evaluar sistemas de IA conversacional.

IntellAgent: A Multi-Agent Framework for Evaluating Conversational AI Systems

January 19, 2025

Autores: Elad Levi, Ilan Kadar

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Tamaño (LLMs) están transformando la inteligencia artificial, evolucionando hacia sistemas orientados a tareas capaces de planificación y ejecución autónomas. Una de las aplicaciones principales de los LLMs es en sistemas de inteligencia artificial conversacional, los cuales deben navegar diálogos de múltiples turnos, integrar APIs específicas de dominio y cumplir con estrictas restricciones de políticas. Sin embargo, evaluar estos agentes sigue siendo un desafío significativo, ya que los métodos tradicionales no logran capturar la complejidad y variabilidad de las interacciones del mundo real. Presentamos IntellAgent, un marco de trabajo multiagente escalable y de código abierto diseñado para evaluar de manera integral los sistemas de inteligencia artificial conversacional. IntellAgent automatiza la creación de diversos bancos de pruebas sintéticos combinando modelado de gráficos basado en políticas, generación realista de eventos y simulaciones interactivas de agentes de usuario. Este enfoque innovador proporciona diagnósticos detallados, abordando las limitaciones de los bancos de pruebas estáticos y curados manualmente con métricas de grano grueso. IntellAgent representa un cambio de paradigma en la evaluación de la inteligencia artificial conversacional. Al simular escenarios realistas con múltiples políticas a través de diferentes niveles de complejidad, IntellAgent captura la interacción matizada de las capacidades de los agentes y las restricciones de las políticas. A diferencia de los métodos tradicionales, emplea un modelo de políticas basado en gráficos para representar relaciones, probabilidades y complejidades de las interacciones de políticas, permitiendo diagnósticos altamente detallados. IntellAgent también identifica brechas críticas de rendimiento, ofreciendo ideas accionables para optimización específica. Su diseño modular y de código abierto respalda la integración fluida de nuevos dominios, políticas y APIs, fomentando la reproducibilidad y la colaboración comunitaria. Nuestros hallazgos demuestran que IntellAgent sirve como un marco efectivo para avanzar en la inteligencia artificial conversacional al abordar los desafíos en la conexión entre la investigación y la implementación. El marco está disponible en https://github.com/plurai-ai/intellagent

English

Large Language Models (LLMs) are transforming artificial intelligence, evolving into task-oriented systems capable of autonomous planning and execution. One of the primary applications of LLMs is conversational AI systems, which must navigate multi-turn dialogues, integrate domain-specific APIs, and adhere to strict policy constraints. However, evaluating these agents remains a significant challenge, as traditional methods fail to capture the complexity and variability of real-world interactions. We introduce IntellAgent, a scalable, open-source multi-agent framework designed to evaluate conversational AI systems comprehensively. IntellAgent automates the creation of diverse, synthetic benchmarks by combining policy-driven graph modeling, realistic event generation, and interactive user-agent simulations. This innovative approach provides fine-grained diagnostics, addressing the limitations of static and manually curated benchmarks with coarse-grained metrics. IntellAgent represents a paradigm shift in evaluating conversational AI. By simulating realistic, multi-policy scenarios across varying levels of complexity, IntellAgent captures the nuanced interplay of agent capabilities and policy constraints. Unlike traditional methods, it employs a graph-based policy model to represent relationships, likelihoods, and complexities of policy interactions, enabling highly detailed diagnostics. IntellAgent also identifies critical performance gaps, offering actionable insights for targeted optimization. Its modular, open-source design supports seamless integration of new domains, policies, and APIs, fostering reproducibility and community collaboration. Our findings demonstrate that IntellAgent serves as an effective framework for advancing conversational AI by addressing challenges in bridging research and deployment. The framework is available at https://github.com/plurai-ai/intellagent