Thanos : Amélioration des agents conversationnels grâce à un modèle de langage de grande taille enrichi par la compétence cognitive
Thanos: Enhancing Conversational Agents with Skill-of-Mind-Infused Large Language Model
November 7, 2024
papers.authors: Young-Jun Lee, Dokyong Lee, Junyoung Youn, Kyeongjin Oh, Ho-Jin Choi
cs.AI
papers.abstract
Pour renforcer les liens sociaux avec leurs interlocuteurs, les humains acquièrent naturellement la capacité de répondre de manière appropriée dans une situation donnée en considérant quelle compétence conversationnelle est la plus adaptée pour la réponse - un processus que nous appelons la "compétence d'esprit". Pour les agents conversationnels basés sur des modèles de langage de grande taille (LLM), planifier des compétences conversationnelles appropriées, comme le font les humains, est un défi en raison de la complexité des dialogues sociaux, en particulier dans des scénarios interactifs. Pour résoudre ce problème, nous proposons un ensemble de données de conversations annotées selon la compétence d'esprit, nommé Multifaceted Skill-of-Mind, qui inclut des compétences conversationnelles multitours et multidimensionnelles dans divers scénarios interactifs (par exemple, à long terme, de conseil, orientés vers des tâches), ancrés dans des contextes sociaux variés (par exemple, démographiques, persona, règles empiriques). Cet ensemble de données comprend environ 100 000 conversations. En utilisant cet ensemble de données, nous introduisons une nouvelle famille de LLM infusés de compétence d'esprit, nommée Thanos, avec des tailles de modèle de 1B, 3B et 8B paramètres. Grâce à des expériences approfondies, ces modèles démontrent avec succès le processus de compétence d'esprit et présentent une forte généralisation dans l'inférence de compétences multidimensionnelles à travers divers domaines. De plus, nous montrons que Thanos améliore significativement la qualité des réponses générées par les agents conversationnels basés sur des LLM et favorise les comportements prosociaux dans les évaluations humaines.
English
To increase social bonding with interlocutors, humans naturally acquire the
ability to respond appropriately in a given situation by considering which
conversational skill is most suitable for the response - a process we call
skill-of-mind. For large language model (LLM)-based conversational agents,
planning appropriate conversational skills, as humans do, is challenging due to
the complexity of social dialogue, especially in interactive scenarios. To
address this, we propose a skill-of-mind-annotated conversation dataset, named
Multifaceted Skill-of-Mind, which includes multi-turn and multifaceted
conversational skills across various interactive scenarios (e.g., long-term,
counseling, task-oriented), grounded in diverse social contexts (e.g.,
demographics, persona, rules of thumb). This dataset consists of roughly 100K
conversations. Using this dataset, we introduce a new family of
skill-of-mind-infused LLMs, named Thanos, with model sizes of 1B, 3B, and 8B
parameters. With extensive experiments, these models successfully demonstrate
the skill-of-mind process and exhibit strong generalizability in inferring
multifaceted skills across a variety of domains. Moreover, we show that Thanos
significantly enhances the quality of responses generated by LLM-based
conversational agents and promotes prosocial behavior in human evaluations.