Thanos: Potenziamento degli Agenti Conversazionali tramite Large Language Model Arricchiti con Abilità Mentali

Thanos: Enhancing Conversational Agents with Skill-of-Mind-Infused Large Language Model

November 7, 2024

Autori: Young-Jun Lee, Dokyong Lee, Junyoung Youn, Kyeongjin Oh, Ho-Jin Choi

cs.AI

Abstract

Per aumentare il legame sociale con gli interlocutori, gli esseri umani acquisiscono naturalmente la capacità di rispondere in modo appropriato in una determinata situazione considerando quale abilità conversazionale sia più adatta alla risposta - un processo che chiamiamo "abilità della mente" (skill-of-mind). Per gli agenti conversazionali basati su grandi modelli linguistici (LLM), pianificare abilità conversazionali appropriate, come fanno gli umani, è impegnativo a causa della complessità del dialogo sociale, specialmente in scenari interattivi. Per affrontare questo problema, proponiamo un dataset conversazionale annotato con l'abilità della mente, denominato Multifaceted Skill-of-Mind, che include abilità conversazionali multiformi e a più turni in vari scenari interattivi (ad esempio, a lungo termine, di consulenza, orientati al compito), radicati in contesti sociali diversi (ad esempio, dati demografici, persona, regole pratiche). Questo dataset è composto da circa 100.000 conversazioni. Utilizzando questo dataset, introduciamo una nuova famiglia di LLM infusi con l'abilità della mente, chiamata Thanos, con dimensioni del modello di 1B, 3B e 8B di parametri. Attraverso esperimenti estesi, questi modelli dimostrano con successo il processo dell'abilità della mente ed esibiscono una forte generalizzabilità nell'inferire abilità multiformi in una varietà di domini. Inoltre, mostriamo che Thanos migliora significativamente la qualità delle risposte generate da agenti conversazionali basati su LLM e promuove comportamenti prosociali nelle valutazioni umane.

English

To increase social bonding with interlocutors, humans naturally acquire the ability to respond appropriately in a given situation by considering which conversational skill is most suitable for the response - a process we call skill-of-mind. For large language model (LLM)-based conversational agents, planning appropriate conversational skills, as humans do, is challenging due to the complexity of social dialogue, especially in interactive scenarios. To address this, we propose a skill-of-mind-annotated conversation dataset, named Multifaceted Skill-of-Mind, which includes multi-turn and multifaceted conversational skills across various interactive scenarios (e.g., long-term, counseling, task-oriented), grounded in diverse social contexts (e.g., demographics, persona, rules of thumb). This dataset consists of roughly 100K conversations. Using this dataset, we introduce a new family of skill-of-mind-infused LLMs, named Thanos, with model sizes of 1B, 3B, and 8B parameters. With extensive experiments, these models successfully demonstrate the skill-of-mind process and exhibit strong generalizability in inferring multifaceted skills across a variety of domains. Moreover, we show that Thanos significantly enhances the quality of responses generated by LLM-based conversational agents and promotes prosocial behavior in human evaluations.