Adaptieve verfijning van multi-agent responsen in conversatiesystemen

Adaptive Multi-Agent Response Refinement in Conversational Systems

November 11, 2025

Auteurs: Soyeong Jeong, Aparna Elangovan, Emine Yilmaz, Oleg Rokhlenko

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) hebben opmerkelijke successen geboekt in conversatiesystemen door mensachtige antwoorden te genereren. Ze kunnen echter tekortschieten, vooral wanneer er rekening moet worden gehouden met personalisatie of specifieke kennis. In praktijksituaties is het onrealistisch om te verwachten dat gebruikers deze fouten zelf detecteren en om een nieuw antwoord vragen. Een manier om dit probleem aan te pakken, is het antwoord te verfijnen voordat het aan de gebruiker wordt teruggegeven. Terwijl bestaande benaderingen zich richten op het verfijnen van antwoorden binnen één enkel LLM, heeft deze methode moeite om de diverse aspecten te overwegen die nodig zijn voor effectieve gesprekken. In dit werk stellen we voor om antwoorden te verfijnen via een multi-agent raamwerk, waarbij elke agent een specifieke rol krijgt toegewezen voor elk aspect. We richten ons op drie cruciale aspecten voor conversatiekwaliteit: feitelijkheid, personalisatie en samenhang. Elke agent is verantwoordelijk voor het beoordelen en verfijnen van één van deze aspecten, en hun feedback wordt vervolgens samengevoegd om het algehele antwoord te verbeteren. Om de samenwerking tussen hen te verbeteren, introduceren we een dynamische communicatiestrategie. In plaats van een vaste volgorde van agents te volgen, selecteert en coördineert onze aanpak adaptief de meest relevante agents op basis van de specifieke eisen van elke query. We valideren ons raamwerk op uitdagende conversatiedatasets en tonen aan dat het significant beter presteert dan relevante baseline-methoden, vooral bij taken die kennis, de persona van de gebruiker, of beide betreffen.

English

Large Language Models (LLMs) have demonstrated remarkable success in conversational systems by generating human-like responses. However, they can fall short, especially when required to account for personalization or specific knowledge. In real-life settings, it is impractical to rely on users to detect these errors and request a new response. One way to address this problem is to refine the response before returning it to the user. While existing approaches focus on refining responses within a single LLM, this method struggles to consider diverse aspects needed for effective conversations. In this work, we propose refining responses through a multi-agent framework, where each agent is assigned a specific role for each aspect. We focus on three key aspects crucial to conversational quality: factuality, personalization, and coherence. Each agent is responsible for reviewing and refining one of these aspects, and their feedback is then merged to improve the overall response. To enhance collaboration among them, we introduce a dynamic communication strategy. Instead of following a fixed sequence of agents, our approach adaptively selects and coordinates the most relevant agents based on the specific requirements of each query. We validate our framework on challenging conversational datasets, demonstrating that ours significantly outperforms relevant baselines, particularly in tasks involving knowledge or user's persona, or both.