DialSim: Ein Echtzeit-Simulator zur Bewertung des langfristigen Dialogverständnisses von Konversationsagenten

DialSim: A Real-Time Simulator for Evaluating Long-Term Dialogue Understanding of Conversational Agents

June 19, 2024

Autoren: Jiho Kim, Woosog Chay, Hyeonji Hwang, Daeun Kyung, Hyunseung Chung, Eunbyeol Cho, Yohan Jo, Edward Choi

cs.AI

Zusammenfassung

In jüngster Zeit haben Fortschritte bei Großen Sprachmodellen (LLMs) die Fähigkeiten von Konversationsagenten erheblich verbessert und sie in verschiedenen Bereichen (z. B. Bildung) einsetzbar gemacht. Trotz ihres Fortschritts vernachlässigt die Bewertung der Agenten oft die Komplexitäten von Gesprächen in der realen Welt, wie Echtzeitinteraktionen, Mehrparteiengespräche und erweiterte Kontextabhängigkeiten. Um diese Kluft zu überbrücken, stellen wir DialSim vor, einen Echtzeit-Dialogsimulator. In diesem Simulator wird einem Agenten die Rolle einer Figur aus beliebten Fernsehsendungen zugewiesen, was ihn dazu verpflichtet, auf spontane Fragen unter Verwendung von Informationen aus vergangenen Dialogen zu antworten und zwischen bekannten und unbekannten Informationen zu unterscheiden. Zu den wichtigsten Funktionen von DialSim gehören die Bewertung der Fähigkeit des Agenten, innerhalb einer angemessenen Zeitgrenze zu antworten, die Bewältigung langfristiger Mehrparteiengespräche und die Verwaltung von adversen Situationen (z. B. Vertauschen von Charakternamen), um die Abhängigkeit des Agenten von vorab trainiertem Wissen herauszufordern. Wir haben diesen Simulator genutzt, um die neuesten Konversationsagenten zu bewerten und ihre Einschränkungen zu analysieren. Unsere Experimente heben sowohl die Stärken als auch die Schwächen dieser Agenten hervor und liefern wertvolle Erkenntnisse für zukünftige Verbesserungen im Bereich der Konversations-KI. DialSim ist verfügbar unter https://github.com/jiho283/Simulator.

English

Recent advancements in Large Language Models (LLMs) have significantly enhanced the capabilities of conversational agents, making them applicable to various fields (e.g., education). Despite their progress, the evaluation of the agents often overlooks the complexities of real-world conversations, such as real-time interactions, multi-party dialogues, and extended contextual dependencies. To bridge this gap, we introduce DialSim, a real-time dialogue simulator. In this simulator, an agent is assigned the role of a character from popular TV shows, requiring it to respond to spontaneous questions using past dialogue information and to distinguish between known and unknown information. Key features of DialSim include evaluating the agent's ability to respond within a reasonable time limit, handling long-term multi-party dialogues, and managing adversarial settings (e.g., swap character names) to challenge the agent's reliance on pre-trained knowledge. We utilized this simulator to evaluate the latest conversational agents and analyze their limitations. Our experiments highlight both the strengths and weaknesses of these agents, providing valuable insights for future improvements in the field of conversational AI. DialSim is available at https://github.com/jiho283/Simulator.