O Bom, O Mau e O Ganancioso: A Avaliação de LLMs Não Deve Ignorar o Não-Determinismo.

The Good, The Bad, and The Greedy: Evaluation of LLMs Should Not Ignore Non-Determinism

July 15, 2024

Autores: Yifan Song, Guoyin Wang, Sujian Li, Bill Yuchen Lin

cs.AI

Resumo

As avaliações atuais de grandes modelos de linguagem (LLMs) frequentemente ignoram o não determinismo, geralmente focando em uma única saída por exemplo. Isso limita nossa compreensão da variabilidade de desempenho dos LLMs em aplicações do mundo real. Nosso estudo aborda essa questão explorando perguntas-chave sobre as diferenças de desempenho entre decodificação gananciosa e amostragem, identificando a consistência dos benchmarks em relação ao não determinismo e examinando comportamentos exclusivos do modelo. Através de experimentos extensivos, observamos que a decodificação gananciosa geralmente supera os métodos de amostragem para a maioria das tarefas avaliadas. Também observamos desempenho consistente em diferentes tamanhos de LLM e métodos de alinhamento, observando que o alinhamento pode reduzir a variância da amostragem. Além disso, nossa abordagem de melhor de N amostragem demonstra que LLMs menores podem igualar ou superar modelos maiores como o GPT-4-Turbo, destacando o potencial inexplorado de LLMs menores. Esta pesquisa mostra a importância de considerar o não determinismo nas avaliações de LLM e fornece insights para o desenvolvimento e avaliação futura de LLMs.

English

Current evaluations of large language models (LLMs) often overlook non-determinism, typically focusing on a single output per example. This limits our understanding of LLM performance variability in real-world applications. Our study addresses this issue by exploring key questions about the performance differences between greedy decoding and sampling, identifying benchmarks' consistency regarding non-determinism, and examining unique model behaviors. Through extensive experiments, we observe that greedy decoding generally outperforms sampling methods for most evaluated tasks. We also observe consistent performance across different LLM sizes and alignment methods, noting that alignment can reduce sampling variance. Moreover, our best-of-N sampling approach demonstrates that smaller LLMs can match or surpass larger models such as GPT-4-Turbo, highlighting the untapped potential of smaller LLMs. This research shows the importance of considering non-determinism in LLM evaluations and provides insights for future LLM development and evaluation.