Amostragem Verbalizada: Como Mitigar o Colapso de Modos e Libertar a Diversidade em LLMs

Resumo

O alinhamento pós-treinamento frequentemente reduz a diversidade dos LLMs, levando a um fenômeno conhecido como colapso de modos. Diferentemente de trabalhos anteriores que atribuem esse efeito a limitações algorítmicas, identificamos um fator fundamental e pervasivo no nível dos dados: o viés de tipicidade nos dados de preferência, pelo qual os anotadores sistematicamente favorecem textos familiares como resultado de descobertas bem estabelecidas na psicologia cognitiva. Formalizamos teoricamente esse viés, verificamos empiricamente em conjuntos de dados de preferência e mostramos que ele desempenha um papel central no colapso de modos. Motivados por essa análise, introduzimos o Amostragem Verbalizada (Verbalized Sampling, VS), uma estratégia simples e livre de treinamento para contornar o colapso de modos. O VS solicita que o modelo verbalize uma distribuição de probabilidade sobre um conjunto de respostas (por exemplo, "Gere 5 piadas sobre café e suas probabilidades correspondentes"). Experimentos abrangentes mostram que o VS melhora significativamente o desempenho em escrita criativa (poemas, histórias, piadas), simulação de diálogo, perguntas e respostas abertas e geração de dados sintéticos, sem sacrificar a precisão factual e a segurança. Por exemplo, na escrita criativa, o VS aumenta a diversidade em 1,6-2,1 vezes em relação ao prompting direto. Observamos ainda uma tendência emergente de que modelos mais capazes se beneficiam mais do VS. Em suma, nosso trabalho oferece uma nova perspectiva centrada em dados sobre o colapso de modos e um remédio prático no momento da inferência que ajuda a desbloquear a diversidade generativa pré-treinada.

English

Post-training alignment often reduces LLM diversity, leading to a phenomenon known as mode collapse. Unlike prior work that attributes this effect to algorithmic limitations, we identify a fundamental, pervasive data-level driver: typicality bias in preference data, whereby annotators systematically favor familiar text as a result of well-established findings in cognitive psychology. We formalize this bias theoretically, verify it on preference datasets empirically, and show that it plays a central role in mode collapse. Motivated by this analysis, we introduce Verbalized Sampling, a simple, training-free prompting strategy to circumvent mode collapse. VS prompts the model to verbalize a probability distribution over a set of responses (e.g., ``Generate 5 jokes about coffee and their corresponding probabilities''). Comprehensive experiments show that VS significantly improves performance across creative writing (poems, stories, jokes), dialogue simulation, open-ended QA, and synthetic data generation, without sacrificing factual accuracy and safety. For instance, in creative writing, VS increases diversity by 1.6-2.1x over direct prompting. We further observe an emergent trend that more capable models benefit more from VS. In sum, our work provides a new data-centric perspective on mode collapse and a practical inference-time remedy that helps unlock pre-trained generative diversity.

Amostragem Verbalizada: Como Mitigar o Colapso de Modos e Libertar a Diversidade em LLMs

Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity

Resumo

Support