La Imperativa del Análisis de Conversaciones en la Era de los Modelos de Lenguaje con Gran Capacidad: Una Encuesta de Tareas, Técnicas y Tendencias

The Imperative of Conversation Analysis in the Era of LLMs: A Survey of Tasks, Techniques, and Trends

September 21, 2024

Autores: Xinghua Zhang, Haiyang Yu, Yongbin Li, Minzheng Wang, Longze Chen, Fei Huang

cs.AI

Resumen

En la era de los grandes modelos de lenguaje (LLMs), se acumulará una vasta cantidad de registros de conversaciones gracias a la rápida tendencia de desarrollo de interfaces de lenguaje. El Análisis de Conversación (CA) se esfuerza por descubrir y analizar información crítica a partir de datos de conversaciones, agilizando procesos manuales y respaldando perspectivas de negocio y toma de decisiones. La necesidad de que el CA extraiga percepciones accionables y potencie el empoderamiento está volviéndose cada vez más prominente y atrayendo una atención generalizada. Sin embargo, la falta de un alcance claro para el CA conduce a una dispersión de diversas técnicas, lo que dificulta la formación de una sinergia técnica sistemática para potenciar aplicaciones empresariales. En este documento, realizamos una revisión exhaustiva y sistematizamos la tarea de CA para resumir los trabajos relacionados existentes. Específicamente, definimos formalmente la tarea de CA para enfrentar el panorama fragmentado y caótico en este campo, y derivamos cuatro pasos clave del CA desde la reconstrucción de escenas de conversación, hasta el análisis de atribución en profundidad, y luego realizar un entrenamiento dirigido, generando finalmente conversaciones basadas en el entrenamiento específico para lograr objetivos concretos. Además, mostramos los benchmarks relevantes, discutimos desafíos potenciales y señalamos direcciones futuras tanto en la industria como en la academia. A la luz de los avances actuales, es evidente que la mayoría de los esfuerzos aún se concentran en el análisis de elementos de conversación superficiales, lo que presenta una brecha considerable entre la investigación y el negocio, y con la ayuda de los LLMs, trabajos recientes han mostrado una tendencia hacia la investigación sobre causalidad y tareas estratégicas que son sofisticadas y de alto nivel. Las experiencias e ideas analizadas tendrán inevitablemente un valor de aplicación más amplio en operaciones comerciales que se centran en registros de conversaciones.

English

In the era of large language models (LLMs), a vast amount of conversation logs will be accumulated thanks to the rapid development trend of language UI. Conversation Analysis (CA) strives to uncover and analyze critical information from conversation data, streamlining manual processes and supporting business insights and decision-making. The need for CA to extract actionable insights and drive empowerment is becoming increasingly prominent and attracting widespread attention. However, the lack of a clear scope for CA leads to a dispersion of various techniques, making it difficult to form a systematic technical synergy to empower business applications. In this paper, we perform a thorough review and systematize CA task to summarize the existing related work. Specifically, we formally define CA task to confront the fragmented and chaotic landscape in this field, and derive four key steps of CA from conversation scene reconstruction, to in-depth attribution analysis, and then to performing targeted training, finally generating conversations based on the targeted training for achieving the specific goals. In addition, we showcase the relevant benchmarks, discuss potential challenges and point out future directions in both industry and academia. In view of current advancements, it is evident that the majority of efforts are still concentrated on the analysis of shallow conversation elements, which presents a considerable gap between the research and business, and with the assist of LLMs, recent work has shown a trend towards research on causality and strategic tasks which are sophisticated and high-level. The analyzed experiences and insights will inevitably have broader application value in business operations that target conversation logs.