SimpleStrat: Diversificando a Geração de Modelos de Linguagem com Estratificação

SimpleStrat: Diversifying Language Model Generation with Stratification

October 11, 2024

Autores: Justin Wong, Yury Orlovskiy, Michael Luo, Sanjit A. Seshia, Joseph E. Gonzalez

cs.AI

Resumo

Gerar respostas diversas a partir de grandes modelos de linguagem (LLMs) é crucial para aplicações como planejamento/busca e geração de dados sintéticos, onde a diversidade proporciona respostas distintas entre gerações. Abordagens anteriores dependem do aumento da temperatura para aumentar a diversidade. No entanto, ao contrário do que se acredita, mostramos que não apenas essa abordagem produz gerações individuais de menor qualidade à medida que a temperatura aumenta, mas também depende das probabilidades do próximo token do modelo serem semelhantes à distribuição real das respostas. Propomos uma abordagem alternativa que utiliza o próprio modelo de linguagem para particionar o espaço em estratos. Durante a inferência, um estrato aleatório é selecionado e uma amostra é retirada de dentro do estrato. Para medir a diversidade, introduzimos o CoverageQA, um conjunto de dados de perguntas subespecificadas com múltiplas respostas igualmente plausíveis, e avaliamos a diversidade medindo a Divergência KL entre a distribuição de saída e a distribuição uniforme sobre as respostas válidas reais. Como calcular a probabilidade por resposta/solução para modelos proprietários é inviável, medimos a recall nas soluções reais. Nossa avaliação mostra que o uso do SimpleStrat alcança uma recall maior em 0.05 em comparação com o GPT-4o e uma redução média de 0.36 na Divergência KL em comparação com o Llama 3.

English

Generating diverse responses from large language models (LLMs) is crucial for applications such as planning/search and synthetic data generation, where diversity provides distinct answers across generations. Prior approaches rely on increasing temperature to increase diversity. However, contrary to popular belief, we show not only does this approach produce lower quality individual generations as temperature increases, but it depends on model's next-token probabilities being similar to the true distribution of answers. We propose , an alternative approach that uses the language model itself to partition the space into strata. At inference, a random stratum is selected and a sample drawn from within the strata. To measure diversity, we introduce CoverageQA, a dataset of underspecified questions with multiple equally plausible answers, and assess diversity by measuring KL Divergence between the output distribution and uniform distribution over valid ground truth answers. As computing probability per response/solution for proprietary models is infeasible, we measure recall on ground truth solutions. Our evaluation show using SimpleStrat achieves higher recall by 0.05 compared to GPT-4o and 0.36 average reduction in KL Divergence compared to Llama 3.