Modèles de langage à mémoire à court et long terme réfléchis : Suivi d'instructions générales avec génération de pensées

Thinking LLMs: General Instruction Following with Thought Generation

October 14, 2024

Auteurs: Tianhao Wu, Janice Lan, Weizhe Yuan, Jiantao Jiao, Jason Weston, Sainbayar Sukhbaatar

cs.AI

Résumé

Les LLM sont généralement entraînés pour répondre aux questions des utilisateurs ou suivre des instructions de la même manière que le font les experts humains. Cependant, dans le cadre de l'alignement standard, ils manquent de la capacité de réflexion explicite avant de répondre. La réflexion est importante pour les questions complexes qui nécessitent du raisonnement et de la planification, mais peut être appliquée à n'importe quelle tâche. Nous proposons une méthode d'entraînement pour doter les LLM existants de telles capacités de réflexion pour suivre des instructions générales sans recourir à des données humaines supplémentaires. Nous parvenons à cela grâce à une procédure de recherche et d'optimisation itérative qui explore l'espace des générations de pensées possibles, permettant au modèle d'apprendre à réfléchir sans supervision directe. Pour chaque instruction, les candidats pensées sont évalués en utilisant un modèle juge pour évaluer uniquement leurs réponses, puis optimisés via une optimisation des préférences. Nous montrons que cette procédure conduit à des performances supérieures sur AlpacaEval et Arena-Hard, et montre des avantages de la réflexion sur des catégories non liées au raisonnement telles que le marketing, la santé et les connaissances générales, en plus des tâches plus traditionnelles de raisonnement et de résolution de problèmes.

English

LLMs are typically trained to answer user questions or follow instructions similarly to how human experts respond. However, in the standard alignment framework they lack the basic ability of explicit thinking before answering. Thinking is important for complex questions that require reasoning and planning -- but can be applied to any task. We propose a training method for equipping existing LLMs with such thinking abilities for general instruction following without use of additional human data. We achieve this by an iterative search and optimization procedure that explores the space of possible thought generations, allowing the model to learn how to think without direct supervision. For each instruction, the thought candidates are scored using a judge model to evaluate their responses only, and then optimized via preference optimization. We show that this procedure leads to superior performance on AlpacaEval and Arena-Hard, and shows gains from thinking on non-reasoning categories such as marketing, health and general knowledge, in addition to more traditional reasoning & problem-solving tasks.