SDPO: Segmentniveau Directe Voorkeuroptimalisatie voor Sociale Agenten

SDPO: Segment-Level Direct Preference Optimization for Social Agents

January 3, 2025

Auteurs: Aobo Kong, Wentao Ma, Shiwan Zhao, Yongbin Li, Yuchuan Wu, Ke Wang, Xiaoqian Liu, Qicheng Li, Yong Qin, Fei Huang

cs.AI

Samenvatting

Sociale agenten aangedreven door grote taalmodellen (LLM's) kunnen menselijke sociale gedragingen simuleren, maar schieten tekort in het omgaan met complexe doelgerichte sociale dialogen. Directe Voorkeursoptimalisatie (DPO) heeft effectief bewezen om LLM-gedrag in lijn te brengen met menselijke voorkeuren over verschillende agenttaken. Bestaande op DPO gebaseerde benaderingen voor multi-turn interacties zijn verdeeld in turn-niveau en sessie-niveau methoden. De turn-niveau methode is te gedetailleerd, gericht op individuele beurten, terwijl sessie-niveau methoden te grofkorrelig zijn en vaak trainingsruis introduceren. Om deze beperkingen aan te pakken, stellen wij Segment-Niveau Directe Voorkeursoptimalisatie (SDPO) voor, die zich richt op specifieke sleutelsegmenten binnen interacties om multi-turn agentgedrag te optimaliseren en trainingsruis te minimaliseren. Evaluaties op de SOTOPIA benchmark tonen aan dat SDPO-getunede agenten consequent beter presteren dan zowel bestaande DPO-gebaseerde methoden als eigen LLM's zoals GPT-4o, waarbij de potentie van SDPO om de sociale intelligentie van op LLM's gebaseerde agenten te bevorderen wordt benadrukt. Wij stellen onze code en gegevens beschikbaar op https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/SDPO.

English

Social agents powered by large language models (LLMs) can simulate human social behaviors but fall short in handling complex goal-oriented social dialogues. Direct Preference Optimization (DPO) has proven effective in aligning LLM behavior with human preferences across a variety of agent tasks. Existing DPO-based approaches for multi-turn interactions are divided into turn-level and session-level methods. The turn-level method is overly fine-grained, focusing exclusively on individual turns, while session-level methods are too coarse-grained, often introducing training noise. To address these limitations, we propose Segment-Level Direct Preference Optimization (SDPO), which focuses on specific key segments within interactions to optimize multi-turn agent behavior while minimizing training noise. Evaluations on the SOTOPIA benchmark demonstrate that SDPO-tuned agents consistently outperform both existing DPO-based methods and proprietary LLMs like GPT-4o, underscoring SDPO's potential to advance the social intelligence of LLM-based agents. We release our code and data at https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/SDPO.