LLM pensanti: Seguire istruzioni generali con generazione di pensieri

Thinking LLMs: General Instruction Following with Thought Generation

October 14, 2024

Autori: Tianhao Wu, Janice Lan, Weizhe Yuan, Jiantao Jiao, Jason Weston, Sainbayar Sukhbaatar

cs.AI

Abstract

Gli LLM sono tipicamente addestrati per rispondere alle domande degli utenti o seguire istruzioni in modo simile a come rispondono gli esperti umani. Tuttavia, nel framework di allineamento standard mancano della capacità basilare di pensiero esplicito prima di rispondere. Il pensiero è importante per domande complesse che richiedono ragionamento e pianificazione - ma può essere applicato a qualsiasi compito. Proponiamo un metodo di addestramento per dotare gli LLM esistenti di tali capacità di pensiero per seguire istruzioni generali senza l'uso di ulteriori dati umani. Raggiungiamo questo obiettivo attraverso una procedura di ricerca e ottimizzazione iterativa che esplora lo spazio delle possibili generazioni di pensiero, consentendo al modello di imparare come pensare senza supervisione diretta. Per ciascuna istruzione, i candidati al pensiero vengono valutati utilizzando un modello giudice per valutare solo le loro risposte, e quindi ottimizzati tramite ottimizzazione delle preferenze. Dimostriamo che questa procedura porta a prestazioni superiori su AlpacaEval e Arena-Hard, e mostra vantaggi dal pensare nelle categorie non di ragionamento come marketing, salute e conoscenze generali, oltre a compiti più tradizionali di ragionamento e risoluzione dei problemi.

English

LLMs are typically trained to answer user questions or follow instructions similarly to how human experts respond. However, in the standard alignment framework they lack the basic ability of explicit thinking before answering. Thinking is important for complex questions that require reasoning and planning -- but can be applied to any task. We propose a training method for equipping existing LLMs with such thinking abilities for general instruction following without use of additional human data. We achieve this by an iterative search and optimization procedure that explores the space of possible thought generations, allowing the model to learn how to think without direct supervision. For each instruction, the thought candidates are scored using a judge model to evaluate their responses only, and then optimized via preference optimization. We show that this procedure leads to superior performance on AlpacaEval and Arena-Hard, and shows gains from thinking on non-reasoning categories such as marketing, health and general knowledge, in addition to more traditional reasoning & problem-solving tasks.