A Importância da Análise de Conversação na Era dos Modelos de Linguagem com Aprendizado Profundo: Uma Pesquisa sobre Tarefas, Técnicas e Tendências

The Imperative of Conversation Analysis in the Era of LLMs: A Survey of Tasks, Techniques, and Trends

September 21, 2024

Autores: Xinghua Zhang, Haiyang Yu, Yongbin Li, Minzheng Wang, Longze Chen, Fei Huang

cs.AI

Resumo

Na era dos grandes modelos de linguagem (LLMs), uma vasta quantidade de registros de conversas será acumulada graças à rápida tendência de desenvolvimento de interfaces de linguagem. A Análise de Conversação (CA) se esforça para descobrir e analisar informações críticas a partir de dados de conversas, agilizando processos manuais e apoiando insights e tomadas de decisão empresariais. A necessidade da CA em extrair insights acionáveis e impulsionar o empoderamento está se tornando cada vez mais proeminente e atraindo atenção generalizada. No entanto, a falta de um escopo claro para a CA leva à dispersão de várias técnicas, tornando difícil formar uma sinergia técnica sistemática para potencializar aplicações empresariais. Neste artigo, realizamos uma revisão detalhada e sistematizamos a tarefa de CA para resumir os trabalhos relacionados existentes. Especificamente, definimos formalmente a tarefa de CA para enfrentar o cenário fragmentado e caótico neste campo, e derivamos quatro etapas-chave da CA, desde a reconstrução da cena da conversa, até a análise de atribuição em profundidade, e então realizando treinamento direcionado, finalmente gerando conversas com base no treinamento direcionado para alcançar objetivos específicos. Além disso, apresentamos os benchmarks relevantes, discutimos desafios potenciais e apontamos direções futuras tanto na indústria quanto na academia. À luz dos avanços atuais, é evidente que a maioria dos esforços ainda está concentrada na análise de elementos superficiais de conversação, o que apresenta uma lacuna considerável entre a pesquisa e os negócios, e com a ajuda dos LLMs, trabalhos recentes têm mostrado uma tendência para a pesquisa em causalidade e tarefas estratégicas que são sofisticadas e de alto nível. As experiências e insights analisados inevitavelmente terão um valor de aplicação mais amplo nas operações empresariais que visam registros de conversas.

English

In the era of large language models (LLMs), a vast amount of conversation logs will be accumulated thanks to the rapid development trend of language UI. Conversation Analysis (CA) strives to uncover and analyze critical information from conversation data, streamlining manual processes and supporting business insights and decision-making. The need for CA to extract actionable insights and drive empowerment is becoming increasingly prominent and attracting widespread attention. However, the lack of a clear scope for CA leads to a dispersion of various techniques, making it difficult to form a systematic technical synergy to empower business applications. In this paper, we perform a thorough review and systematize CA task to summarize the existing related work. Specifically, we formally define CA task to confront the fragmented and chaotic landscape in this field, and derive four key steps of CA from conversation scene reconstruction, to in-depth attribution analysis, and then to performing targeted training, finally generating conversations based on the targeted training for achieving the specific goals. In addition, we showcase the relevant benchmarks, discuss potential challenges and point out future directions in both industry and academia. In view of current advancements, it is evident that the majority of efforts are still concentrated on the analysis of shallow conversation elements, which presents a considerable gap between the research and business, and with the assist of LLMs, recent work has shown a trend towards research on causality and strategic tasks which are sophisticated and high-level. The analyzed experiences and insights will inevitably have broader application value in business operations that target conversation logs.