Adaptive Verfeinerung von Multi-Agenten-Antworten in Konversationssystemen
Adaptive Multi-Agent Response Refinement in Conversational Systems
November 11, 2025
papers.authors: Soyeong Jeong, Aparna Elangovan, Emine Yilmaz, Oleg Rokhlenko
cs.AI
papers.abstract
Große Sprachmodelle (LLMs) haben bemerkenswerte Erfolge in Konversationssystemen erzielt, indem sie menschenähnliche Antworten generieren. Allerdings können sie an Grenzen stoßen, insbesondere wenn es darum geht, Personalisierung oder spezifisches Wissen zu berücksichtigen. In realen Anwendungsszenarien ist es unpraktisch, sich darauf zu verlassen, dass Nutzer diese Fehler erkennen und eine neue Antwort anfordern. Ein Ansatz, dieses Problem zu lösen, besteht darin, die Antwort zu verfeinern, bevor sie an den Nutzer zurückgegeben wird. Während bestehende Methoden die Antwortverfeinerung innerhalb eines einzelnen LLMs betrachten, stößt dieser Ansatz an Grenzen, wenn es darum geht, die für effektive Gespräche notwendigen vielfältigen Aspekte zu berücksichtigen. In dieser Arbeit schlagen wir vor, Antworten durch ein Multi-Agenten-Framework zu verfeinern, wobei jedem Agenten eine spezifische Rolle für einen bestimmten Aspekt zugewiesen wird. Wir konzentrieren uns auf drei Schlüsselaspekte, die für die Konversationsqualität entscheidend sind: Faktizität, Personalisierung und Kohärenz. Jeder Agent ist dafür verantwortlich, einen dieser Aspekte zu überprüfen und zu verbessern, und ihr Feedback wird anschließend zusammengeführt, um die Gesamtantwort zu optimieren. Um die Zusammenarbeit zwischen ihnen zu verbessern, führen wir eine dynamische Kommunikationsstrategie ein. Anstatt einer festen Abfolge von Agenten zu folgen, wählt und koordiniert unser Ansatz adaptiv die relevantesten Agenten basierend auf den spezifischen Anforderungen jeder Anfrage. Wir validieren unser Framework anspruchsvollen Konversationsdatensätzen und zeigen, dass unser Ansatz relevante Baseline-Methoden signifikant übertrifft, insbesondere bei Aufgaben, die Wissen oder die Persönlichkeit des Nutzers oder beide betreffen.
English
Large Language Models (LLMs) have demonstrated remarkable success in conversational systems by generating human-like responses. However, they can fall short, especially when required to account for personalization or specific knowledge. In real-life settings, it is impractical to rely on users to detect these errors and request a new response. One way to address this problem is to refine the response before returning it to the user. While existing approaches focus on refining responses within a single LLM, this method struggles to consider diverse aspects needed for effective conversations. In this work, we propose refining responses through a multi-agent framework, where each agent is assigned a specific role for each aspect. We focus on three key aspects crucial to conversational quality: factuality, personalization, and coherence. Each agent is responsible for reviewing and refining one of these aspects, and their feedback is then merged to improve the overall response. To enhance collaboration among them, we introduce a dynamic communication strategy. Instead of following a fixed sequence of agents, our approach adaptively selects and coordinates the most relevant agents based on the specific requirements of each query. We validate our framework on challenging conversational datasets, demonstrating that ours significantly outperforms relevant baselines, particularly in tasks involving knowledge or user's persona, or both.