SimpleStrat: Diversificazione della generazione di modelli linguistici con stratificazione

SimpleStrat: Diversifying Language Model Generation with Stratification

October 11, 2024

Autori: Justin Wong, Yury Orlovskiy, Michael Luo, Sanjit A. Seshia, Joseph E. Gonzalez

cs.AI

Abstract

Generare risposte diverse da grandi modelli di linguaggio (LLM) è cruciale per applicazioni come la pianificazione/ricerca e la generazione di dati sintetici, dove la diversità fornisce risposte distinte tra le generazioni. Approcci precedenti si basano sull'aumento della temperatura per aumentare la diversità. Tuttavia, contrariamente alla credenza popolare, dimostriamo che non solo questo approccio produce generazioni individuali di qualità inferiore all'aumentare della temperatura, ma dipende dalle probabilità del token successivo del modello che devono essere simili alla vera distribuzione delle risposte. Proponiamo un approccio alternativo che utilizza il modello di linguaggio stesso per suddividere lo spazio in strati. Durante l'inferenza, viene selezionato casualmente uno strato e viene estratto un campione all'interno dello strato. Per misurare la diversità, introduciamo CoverageQA, un dataset di domande sottospecificate con risposte multiple ugualmente plausibili, e valutiamo la diversità misurando la Divergenza KL tra la distribuzione di output e la distribuzione uniforme sulle risposte valide effettive. Poiché calcolare la probabilità per risposta/soluzione per modelli proprietari è impraticabile, misuriamo il recall sulle soluzioni effettive. La nostra valutazione mostra che utilizzando SimpleStrat si ottiene un recall più alto del 0.05 rispetto a GPT-4o e una riduzione media del 0.36 nella Divergenza KL rispetto a Llama 3.

English

Generating diverse responses from large language models (LLMs) is crucial for applications such as planning/search and synthetic data generation, where diversity provides distinct answers across generations. Prior approaches rely on increasing temperature to increase diversity. However, contrary to popular belief, we show not only does this approach produce lower quality individual generations as temperature increases, but it depends on model's next-token probabilities being similar to the true distribution of answers. We propose , an alternative approach that uses the language model itself to partition the space into strata. At inference, a random stratum is selected and a sample drawn from within the strata. To measure diversity, we introduce CoverageQA, a dataset of underspecified questions with multiple equally plausible answers, and assess diversity by measuring KL Divergence between the output distribution and uniform distribution over valid ground truth answers. As computing probability per response/solution for proprietary models is infeasible, we measure recall on ground truth solutions. Our evaluation show using SimpleStrat achieves higher recall by 0.05 compared to GPT-4o and 0.36 average reduction in KL Divergence compared to Llama 3.