Die Dringlichkeit der Gesprächsanalyse im Zeitalter von LLMs: Eine Umfrage zu Aufgaben, Techniken und Trends.

The Imperative of Conversation Analysis in the Era of LLMs: A Survey of Tasks, Techniques, and Trends

September 21, 2024

Autoren: Xinghua Zhang, Haiyang Yu, Yongbin Li, Minzheng Wang, Longze Chen, Fei Huang

cs.AI

Zusammenfassung

In der Ära großer Sprachmodelle (LLMs) wird dank des schnellen Entwicklungstrends von Sprachbenutzeroberflächen eine immense Menge an Konversationsprotokollen angehäuft. Die Konversationsanalyse (CA) zielt darauf ab, wichtige Informationen aus Konversationsdaten zu entdecken und zu analysieren, manuelle Prozesse zu optimieren sowie Geschäftseinblicke und Entscheidungsfindung zu unterstützen. Der Bedarf der CA, handlungsrelevante Erkenntnisse zu extrahieren und Empowerment voranzutreiben, wird zunehmend deutlicher und erregt weitreichende Aufmerksamkeit. Allerdings führt das Fehlen eines klaren Anwendungsbereichs für CA zu einer Vielzahl von Techniken, die es schwierig machen, eine systematische technische Synergie zur Stärkung von Geschäftsanwendungen zu bilden. In diesem Papier führen wir eine gründliche Überprüfung durch und systematisieren die CA-Aufgabe, um die bestehenden verwandten Arbeiten zusammenzufassen. Insbesondere definieren wir die CA-Aufgabe formell, um der fragmentierten und chaotischen Landschaft in diesem Bereich zu begegnen, und leiten vier Schlüsselschritte der CA ab, angefangen bei der Rekonstruktion der Konversationsszene über die eingehende Attributionsanalyse bis hin zur gezielten Schulung, um schließlich auf der Grundlage der gezielten Schulung Konversationen zu generieren, um spezifische Ziele zu erreichen. Darüber hinaus präsentieren wir relevante Benchmarks, diskutieren potenzielle Herausforderungen und weisen auf zukünftige Richtungen sowohl in der Industrie als auch in der Akademie hin. Angesichts der aktuellen Fortschritte wird deutlich, dass die Mehrheit der Bemühungen immer noch auf der Analyse oberflächlicher Konversationselemente liegt, was eine beträchtliche Kluft zwischen Forschung und Geschäft darstellt. Mit Hilfe von LLMs zeigt die jüngste Arbeit einen Trend zur Erforschung von Kausalität und strategischen Aufgaben, die anspruchsvoll und auf hohem Niveau sind. Die analysierten Erfahrungen und Erkenntnisse werden zwangsläufig einen breiteren Anwendungswert in Geschäftsabläufen haben, die auf Konversationsprotokollen abzielen.

English

In the era of large language models (LLMs), a vast amount of conversation logs will be accumulated thanks to the rapid development trend of language UI. Conversation Analysis (CA) strives to uncover and analyze critical information from conversation data, streamlining manual processes and supporting business insights and decision-making. The need for CA to extract actionable insights and drive empowerment is becoming increasingly prominent and attracting widespread attention. However, the lack of a clear scope for CA leads to a dispersion of various techniques, making it difficult to form a systematic technical synergy to empower business applications. In this paper, we perform a thorough review and systematize CA task to summarize the existing related work. Specifically, we formally define CA task to confront the fragmented and chaotic landscape in this field, and derive four key steps of CA from conversation scene reconstruction, to in-depth attribution analysis, and then to performing targeted training, finally generating conversations based on the targeted training for achieving the specific goals. In addition, we showcase the relevant benchmarks, discuss potential challenges and point out future directions in both industry and academia. In view of current advancements, it is evident that the majority of efforts are still concentrated on the analysis of shallow conversation elements, which presents a considerable gap between the research and business, and with the assist of LLMs, recent work has shown a trend towards research on causality and strategic tasks which are sophisticated and high-level. The analyzed experiences and insights will inevitably have broader application value in business operations that target conversation logs.