Wiederausrichtung auf den Menschen bei der LLM-Personalisierung

Zusammenfassung

Trotz des wachsenden Interesses basieren die meisten Evaluierungen der Personalisierungsfähigkeiten großer Sprachmodelle (LLMs) auf synthetischen Daten. Es bleibt unklar, wie gut aktuelle Personalisierungssysteme für echte Nutzer funktionieren. In dieser Arbeit untersuchen wir die Diskrepanz in der Personalisierungsleistung von LLMs bei Verwendung synthetischer im Vergleich zu menschlichen Daten. Wir sammeln menschliche Gespräche (550 Gespräche) und Bewertungen in drei Phasen der Personalisierung: Extrahieren von Benutzermerkmalen aus Gesprächen (5.949 Bewertungen), Zuordnen relevanter Merkmale zu neuen Aufforderungen (11.919) und Einbeziehen relevanter Merkmale in eine personalisierte Antwort (1.101). Die Einbeziehung menschlicher Daten offenbart Systemgrenzen in jeder Phase. Modelle haben Schwierigkeiten, Merkmale aus menschlichen Gesprächen zu extrahieren, stimmen nicht mit menschlichen Bewertungen über relevante Merkmale überein und generieren personalisierte Antworten, die von Menschen als nicht besser bewertet werden als generische Antworten (obwohl die LLM-Bewertungen diese weithin als besser einstufen). Wir führen zwei leichtgewichtige trainingsbasierte Interventionen ein, die die automatisierte Personalisierungsevaluierung in den ersten beiden Phasen näher an menschliche Daten heranführen. In der dritten Phase stellen wir jedoch fest, dass erlernte Belohnungsmodelle nur eine bescheidene Korrelation mit menschlichen Bewertungen aufweisen, was darauf hindeutet, dass menschenorientierte Personalisierungsqualitätsurteile nur schwer direkt modellierbar sind. Unsere gesammelten Daten bieten eine Grundlage für die Untersuchung, wie Modelle Benutzerinformationen auf eine für Menschen nützliche Weise extrahieren, auswählen und einbeziehen sollten.

English

Despite growing interest, most evaluations of large language models' (LLMs') personalization abilities have relied on synthetic data. It remains unclear how well current personalization systems work for real users. In this paper, we study the gap in LLM personalization performance when using synthetic versus human data. We collect human conversations (550 conversations) and judgments across three stages of personalization: extracting user attributes from conversations (5,949 judgments), pairing relevant attributes with new prompts (11,919), and incorporating relevant attributes into a personalized response (1,101). Incorporating human data reveals system limitations at each stage. Models struggle to extract attributes from human conversations, disagree with human judgments on relevant attributes, and generate personalized responses that humans judge no better than generic responses (though that LLM judges widely rate as better). We introduce two lightweight training-based interventions that shift automated personalization evaluation closer to human data in our first two stages. However, in our third stage we find that learned reward models achieve only modest correlation with human ratings, suggesting that human-aligned personalization quality judgments are difficult to model directly. Our collected data provides a foundation for studying how models should extract, select, and incorporate user information in ways that humans find useful.