Échantillonnage Verbalisé : Comment Atténuer l'Effondrement de Mode et Libérer la Diversité des LLM

Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity

October 1, 2025

papers.authors: Jiayi Zhang, Simon Yu, Derek Chong, Anthony Sicilia, Michael R. Tomz, Christopher D. Manning, Weiyan Shi

cs.AI

papers.abstract

L'alignement post-entraînement réduit souvent la diversité des LLM, conduisant à un phénomène connu sous le nom d'effondrement modal. Contrairement aux travaux antérieurs qui attribuent cet effet à des limitations algorithmiques, nous identifions un facteur fondamental et omniprésent au niveau des données : le biais de typicalité dans les données de préférence, où les annotateurs favorisent systématiquement des textes familiers en raison de résultats bien établis en psychologie cognitive. Nous formalisons théoriquement ce biais, le vérifions empiriquement sur des ensembles de données de préférence, et montrons qu'il joue un rôle central dans l'effondrement modal. Motivés par cette analyse, nous introduisons l'échantillonnage verbalisé (Verbalized Sampling, VS), une stratégie simple et sans entraînement pour contourner l'effondrement modal. VS incite le modèle à verbaliser une distribution de probabilité sur un ensemble de réponses (par exemple, « Générez 5 blagues sur le café et leurs probabilités correspondantes »). Des expériences approfondies montrent que VS améliore significativement les performances dans des domaines tels que l'écriture créative (poèmes, histoires, blagues), la simulation de dialogue, les questions-réponses ouvertes et la génération de données synthétiques, sans sacrifier la précision factuelle et la sécurité. Par exemple, dans l'écriture créative, VS augmente la diversité de 1,6 à 2,1 fois par rapport à l'invocation directe. Nous observons également une tendance émergente selon laquelle les modèles plus performants bénéficient davantage de VS. En somme, notre travail offre une nouvelle perspective centrée sur les données concernant l'effondrement modal et un remède pratique au moment de l'inférence qui aide à libérer la diversité générative pré-entraînée.

English

Post-training alignment often reduces LLM diversity, leading to a phenomenon known as mode collapse. Unlike prior work that attributes this effect to algorithmic limitations, we identify a fundamental, pervasive data-level driver: typicality bias in preference data, whereby annotators systematically favor familiar text as a result of well-established findings in cognitive psychology. We formalize this bias theoretically, verify it on preference datasets empirically, and show that it plays a central role in mode collapse. Motivated by this analysis, we introduce Verbalized Sampling, a simple, training-free prompting strategy to circumvent mode collapse. VS prompts the model to verbalize a probability distribution over a set of responses (e.g., ``Generate 5 jokes about coffee and their corresponding probabilities''). Comprehensive experiments show that VS significantly improves performance across creative writing (poems, stories, jokes), dialogue simulation, open-ended QA, and synthetic data generation, without sacrificing factual accuracy and safety. For instance, in creative writing, VS increases diversity by 1.6-2.1x over direct prompting. We further observe an emergent trend that more capable models benefit more from VS. In sum, our work provides a new data-centric perspective on mode collapse and a practical inference-time remedy that helps unlock pre-trained generative diversity.