SDPO: Segmentebene Direkte Präferenzoptimierung für soziale Agenten

SDPO: Segment-Level Direct Preference Optimization for Social Agents

January 3, 2025

Autoren: Aobo Kong, Wentao Ma, Shiwan Zhao, Yongbin Li, Yuchuan Wu, Ke Wang, Xiaoqian Liu, Qicheng Li, Yong Qin, Fei Huang

cs.AI

Zusammenfassung

Soziale Agenten, die von großen Sprachmodellen (LLMs) betrieben werden, können menschliches soziales Verhalten simulieren, scheitern jedoch daran, komplexe zielgerichtete soziale Dialoge zu bewältigen. Die Direkte Präferenzoptimierung (DPO) hat sich als wirksam erwiesen, um das Verhalten von LLMs bei einer Vielzahl von Agentenaufgaben mit menschlichen Präferenzen in Einklang zu bringen. Bestehende DPO-basierte Ansätze für Mehrfachinteraktionen werden in Turn-Level- und Session-Level-Methoden unterteilt. Die Turn-Level-Methode ist zu feingliedrig und konzentriert sich ausschließlich auf einzelne Turns, während Session-Level-Methoden zu grobgliedrig sind und häufig Trainingsrauschen einführen. Um diese Einschränkungen zu adressieren, schlagen wir die Segment-Level-Direkte Präferenzoptimierung (SDPO) vor, die sich auf spezifische Schlüsselsegmente innerhalb von Interaktionen konzentriert, um das Verhalten von Mehrfachagenten zu optimieren und gleichzeitig das Trainingsrauschen zu minimieren. Evaluationen am SOTOPIA-Benchmark zeigen, dass SDPO-abgestimmte Agenten konsequent sowohl bestehende DPO-basierte Methoden als auch proprietäre LLMs wie GPT-4o übertreffen, was das Potenzial von SDPO zur Weiterentwicklung der sozialen Intelligenz von LLM-basierten Agenten unterstreicht. Wir veröffentlichen unseren Code und unsere Daten unter https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/SDPO.

English

Social agents powered by large language models (LLMs) can simulate human social behaviors but fall short in handling complex goal-oriented social dialogues. Direct Preference Optimization (DPO) has proven effective in aligning LLM behavior with human preferences across a variety of agent tasks. Existing DPO-based approaches for multi-turn interactions are divided into turn-level and session-level methods. The turn-level method is overly fine-grained, focusing exclusively on individual turns, while session-level methods are too coarse-grained, often introducing training noise. To address these limitations, we propose Segment-Level Direct Preference Optimization (SDPO), which focuses on specific key segments within interactions to optimize multi-turn agent behavior while minimizing training noise. Evaluations on the SOTOPIA benchmark demonstrate that SDPO-tuned agents consistently outperform both existing DPO-based methods and proprietary LLMs like GPT-4o, underscoring SDPO's potential to advance the social intelligence of LLM-based agents. We release our code and data at https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/SDPO.