Игра консенсуса: генерация языковых моделей через поиск равновесия

The Consensus Game: Language Model Generation via Equilibrium Search

October 13, 2023

Авторы: Athul Paul Jacob, Yikang Shen, Gabriele Farina, Jacob Andreas

cs.AI

Аннотация

При применении языковых моделей (ЯМ) к задачам ответов на вопросы и другим задачам генерации текста, их можно запрашивать генеративно (путем выборки ответов из их выходного распределения) или дискриминативно (путем использования их для оценки или ранжирования набора кандидатных ответов). Эти процедуры иногда приводят к совершенно разным предсказаниям. Как согласовать взаимно несовместимые процедуры оценки для получения согласованных предсказаний ЯМ? Мы представляем новую, не требующую обучения, процедуру декодирования языковых моделей, основанную на теории игр. Наш подход формулирует декодирование языковых моделей как регуляризованную последовательную игру с неполной информацией и сигнализацией, которую мы называем ИГРОЙ КОНСЕНСУСА, в которой ГЕНЕРАТОР стремится передать абстрактный параметр корректности с использованием естественно-языковых предложений ДИСКРИМИНАТОРУ. Мы разрабатываем вычислительные процедуры для нахождения приближенных равновесий этой игры, что приводит к алгоритму декодирования, который мы называем РАНЖИРОВАНИЕМ ПО РАВНОВЕСИЮ. Примененный к большому количеству задач (включая понимание прочитанного, рассуждения на основе здравого смысла, решение математических задач и диалоги), РАНЖИРОВАНИЕ ПО РАВНОВЕСИЮ последовательно, а иногда и значительно, улучшает производительность по сравнению с существующими процедурами декодирования ЯМ — на нескольких бенчмарках мы наблюдаем, что применение РАНЖИРОВАНИЯ ПО РАВНОВЕСИЮ к модели LLaMA-7B превосходит гораздо более крупные модели LLaMA-65B и PaLM-540B. Эти результаты подчеркивают перспективность использования инструментов теории игр для решения фундаментальных проблем правдивости и согласованности в языковых моделях.

English

When applied to question answering and other text generation tasks, language models (LMs) may be queried generatively (by sampling answers from their output distribution) or discriminatively (by using them to score or rank a set of candidate outputs). These procedures sometimes yield very different predictions. How do we reconcile mutually incompatible scoring procedures to obtain coherent LM predictions? We introduce a new, a training-free, game-theoretic procedure for language model decoding. Our approach casts language model decoding as a regularized imperfect-information sequential signaling game - which we term the CONSENSUS GAME - in which a GENERATOR seeks to communicate an abstract correctness parameter using natural language sentences to a DISCRIMINATOR. We develop computational procedures for finding approximate equilibria of this game, resulting in a decoding algorithm we call EQUILIBRIUM-RANKING. Applied to a large number of tasks (including reading comprehension, commonsense reasoning, mathematical problem-solving, and dialog), EQUILIBRIUM-RANKING consistently, and sometimes substantially, improves performance over existing LM decoding procedures - on multiple benchmarks, we observe that applying EQUILIBRIUM-RANKING to LLaMA-7B outperforms the much larger LLaMA-65B and PaLM-540B models. These results highlight the promise of game-theoretic tools for addressing fundamental challenges of truthfulness and consistency in LMs.