Необходимость анализа разговоров в эпоху LLM: Обзор задач, методов и тенденций.

The Imperative of Conversation Analysis in the Era of LLMs: A Survey of Tasks, Techniques, and Trends

September 21, 2024

Авторы: Xinghua Zhang, Haiyang Yu, Yongbin Li, Minzheng Wang, Longze Chen, Fei Huang

cs.AI

Аннотация

В эпоху больших языковых моделей (LLM) благодаря стремительному развитию языкового пользовательского интерфейса накапливается огромное количество журналов бесед. Анализ бесед (CA) нацелен на выявление и анализ ключевой информации из данных бесед, оптимизацию ручных процессов и поддержку бизнес-инсайтов и принятия решений. Потребность CA в извлечении действенных идей и обеспечении эмпауэрмента становится все более заметной и привлекает широкое внимание. Однако отсутствие четкой области применения CA приводит к разнообразию техник, что затрудняет формирование систематического технического синергетического подхода для усиления бизнес-приложений. В данной статье мы проводим тщательный обзор и систематизируем задачу CA для обобщения существующих связанных работ. Конкретно, мы формально определяем задачу CA для преодоления фрагментированного и хаотичного ландшафта в этой области и выявляем четыре ключевых шага CA от восстановления сцены беседы до анализа атрибуции в глубину, а затем к выполнению целевой тренировки, наконец, генерируя беседы на основе целевой тренировки для достижения конкретных целей. Кроме того, мы демонстрируем соответствующие бенчмарки, обсуждаем потенциальные вызовы и указываем на будущие направления как в индустрии, так и в академии. С учетом текущих достижений очевидно, что большинство усилий по-прежнему сосредоточены на анализе поверхностных элементов беседы, что создает значительный разрыв между исследованиями и бизнесом, и с помощью LLM недавние работы показывают тенденцию к исследованиям причинности и стратегических задач, которые являются сложными и высокоуровневыми. Проанализированные опыт и идеи будут неизбежно иметь более широкую прикладную ценность в бизнес-операциях, ориентированных на журналы бесед.

English

In the era of large language models (LLMs), a vast amount of conversation logs will be accumulated thanks to the rapid development trend of language UI. Conversation Analysis (CA) strives to uncover and analyze critical information from conversation data, streamlining manual processes and supporting business insights and decision-making. The need for CA to extract actionable insights and drive empowerment is becoming increasingly prominent and attracting widespread attention. However, the lack of a clear scope for CA leads to a dispersion of various techniques, making it difficult to form a systematic technical synergy to empower business applications. In this paper, we perform a thorough review and systematize CA task to summarize the existing related work. Specifically, we formally define CA task to confront the fragmented and chaotic landscape in this field, and derive four key steps of CA from conversation scene reconstruction, to in-depth attribution analysis, and then to performing targeted training, finally generating conversations based on the targeted training for achieving the specific goals. In addition, we showcase the relevant benchmarks, discuss potential challenges and point out future directions in both industry and academia. In view of current advancements, it is evident that the majority of efforts are still concentrated on the analysis of shallow conversation elements, which presents a considerable gap between the research and business, and with the assist of LLMs, recent work has shown a trend towards research on causality and strategic tasks which are sophisticated and high-level. The analyzed experiences and insights will inevitably have broader application value in business operations that target conversation logs.