Verbaal Sampling: Hoe Mode Collapse te Verminderen en Diversiteit in LLM's te Ontgrendelen

Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity

October 1, 2025

Auteurs: Jiayi Zhang, Simon Yu, Derek Chong, Anthony Sicilia, Michael R. Tomz, Christopher D. Manning, Weiyan Shi

cs.AI

Samenvatting

Post-training alignment vermindert vaak de diversiteit van LLM's, wat leidt tot een fenomeen dat bekend staat als mode collapse. In tegenstelling tot eerder werk dat dit effect toeschrijft aan algoritmische beperkingen, identificeren wij een fundamentele, alomtegenwoordige oorzaak op dataniveau: typicality bias in voorkeursdata, waarbij annotatoren systematisch vertrouwd tekst verkiezen als gevolg van goed gedocumenteerde bevindingen in de cognitieve psychologie. We formaliseren deze bias theoretisch, verifiëren deze empirisch op voorkeursdatasets en tonen aan dat deze een centrale rol speelt bij mode collapse. Gemotiveerd door deze analyse introduceren we Verbalized Sampling, een eenvoudige, training-vrije promptstrategie om mode collapse te omzeilen. VS vraagt het model om een waarschijnlijkheidsverdeling te verbaliseren over een set reacties (bijv., "Genereer 5 grappen over koffie en hun bijbehorende waarschijnlijkheden"). Uitgebreide experimenten tonen aan dat VS de prestaties aanzienlijk verbetert op het gebied van creatief schrijven (gedichten, verhalen, grappen), dialoogsimulatie, open-einde QA en synthetische datageneratie, zonder in te leveren op feitelijke nauwkeurigheid en veiligheid. Bijvoorbeeld, in creatief schrijven verhoogt VS de diversiteit met 1,6-2,1x ten opzichte van directe prompting. We observeren verder een opkomende trend dat capabelere modellen meer baat hebben bij VS. Kortom, ons werk biedt een nieuw data-gecentreerd perspectief op mode collapse en een praktische remedie tijdens inferentie die helpt om de vooraf getrainde generatieve diversiteit te ontgrendelen.

English

Post-training alignment often reduces LLM diversity, leading to a phenomenon known as mode collapse. Unlike prior work that attributes this effect to algorithmic limitations, we identify a fundamental, pervasive data-level driver: typicality bias in preference data, whereby annotators systematically favor familiar text as a result of well-established findings in cognitive psychology. We formalize this bias theoretically, verify it on preference datasets empirically, and show that it plays a central role in mode collapse. Motivated by this analysis, we introduce Verbalized Sampling, a simple, training-free prompting strategy to circumvent mode collapse. VS prompts the model to verbalize a probability distribution over a set of responses (e.g., ``Generate 5 jokes about coffee and their corresponding probabilities''). Comprehensive experiments show that VS significantly improves performance across creative writing (poems, stories, jokes), dialogue simulation, open-ended QA, and synthetic data generation, without sacrificing factual accuracy and safety. For instance, in creative writing, VS increases diversity by 1.6-2.1x over direct prompting. We further observe an emergent trend that more capable models benefit more from VS. In sum, our work provides a new data-centric perspective on mode collapse and a practical inference-time remedy that helps unlock pre-trained generative diversity.