Allineamento degli Obiettivi nei Simulatori di Utente Basati su LLM per l'Intelligenza Conversazionale

Goal Alignment in LLM-Based User Simulators for Conversational AI

July 27, 2025

Autori: Shuhaib Mehri, Xiaocheng Yang, Takyoung Kim, Gokhan Tur, Shikib Mehri, Dilek Hakkani-Tür

cs.AI

Abstract

I simulator di utenti sono essenziali per l'IA conversazionale, consentendo lo sviluppo e la valutazione scalabile degli agenti attraverso interazioni simulate. Sebbene gli attuali Modelli Linguistici di Grande Dimensione (LLM) abbiano avanzato le capacità di simulazione degli utenti, riveliamo che faticano a dimostrare comportamenti orientati agli obiettivi in modo coerente attraverso conversazioni multi-turn—una limitazione critica che compromette la loro affidabilità nelle applicazioni downstream. Introduciamo il User Goal State Tracking (UGST), un framework innovativo che monitora il progresso degli obiettivi dell'utente durante le conversazioni. Sfruttando UGST, presentiamo una metodologia in tre fasi per sviluppare simulatori di utenti in grado di monitorare autonomamente il progresso degli obiettivi e ragionare per generare risposte allineate agli obiettivi. Inoltre, stabiliamo metriche di valutazione complete per misurare l'allineamento agli obiettivi nei simulatori di utenti e dimostriamo che il nostro approccio produce miglioramenti sostanziali su due benchmark (MultiWOZ 2.4 e {\tau}-Bench). I nostri contributi affrontano una lacuna critica nell'IA conversazionale e stabiliscono UGST come un framework essenziale per sviluppare simulatori di utenti allineati agli obiettivi.

English

User simulators are essential to conversational AI, enabling scalable agent development and evaluation through simulated interactions. While current Large Language Models (LLMs) have advanced user simulation capabilities, we reveal that they struggle to consistently demonstrate goal-oriented behavior across multi-turn conversations--a critical limitation that compromises their reliability in downstream applications. We introduce User Goal State Tracking (UGST), a novel framework that tracks user goal progression throughout conversations. Leveraging UGST, we present a three-stage methodology for developing user simulators that can autonomously track goal progression and reason to generate goal-aligned responses. Moreover, we establish comprehensive evaluation metrics for measuring goal alignment in user simulators, and demonstrate that our approach yields substantial improvements across two benchmarks (MultiWOZ 2.4 and {\tau}-Bench). Our contributions address a critical gap in conversational AI and establish UGST as an essential framework for developing goal-aligned user simulators.