Self-Discover: I Modelli Linguistici di Grandi Dimensioni Autocompongono Strutture di Ragionamento

Self-Discover: Large Language Models Self-Compose Reasoning Structures

February 6, 2024

Autori: Pei Zhou, Jay Pujara, Xiang Ren, Xinyun Chen, Heng-Tze Cheng, Quoc V. Le, Ed H. Chi, Denny Zhou, Swaroop Mishra, Huaixiu Steven Zheng

cs.AI

Abstract

Presentiamo SELF-DISCOVER, un framework generale che consente ai modelli linguistici di grandi dimensioni (LLM) di auto-scoprire le strutture di ragionamento intrinseche ai compiti per affrontare problemi di ragionamento complessi che risultano difficili per i metodi di prompting tradizionali. Il cuore del framework è un processo di auto-scoperta in cui gli LLM selezionano più moduli di ragionamento atomici, come il pensiero critico e il ragionamento passo-passo, e li compongono in una struttura di ragionamento esplicita che gli LLM seguono durante la decodifica. SELF-DISCOVER migliora significativamente le prestazioni di GPT-4 e PaLM 2 su benchmark di ragionamento impegnativi come BigBench-Hard, il ragionamento di agenti radicati e MATH, con un miglioramento fino al 32% rispetto al metodo Chain of Thought (CoT). Inoltre, SELF-DISCOVER supera metodi ad alta intensità di inferenza come CoT-Self-Consistency di oltre il 20%, richiedendo però da 10 a 40 volte meno risorse computazionali per l'inferenza. Infine, dimostriamo che le strutture di ragionamento auto-scoperte sono universalmente applicabili tra diverse famiglie di modelli: da PaLM 2-L a GPT-4, e da GPT-4 a Llama2, e condividono somiglianze con i modelli di ragionamento umano.

English

We introduce SELF-DISCOVER, a general framework for LLMs to self-discover the task-intrinsic reasoning structures to tackle complex reasoning problems that are challenging for typical prompting methods. Core to the framework is a self-discovery process where LLMs select multiple atomic reasoning modules such as critical thinking and step-by-step thinking, and compose them into an explicit reasoning structure for LLMs to follow during decoding. SELF-DISCOVER substantially improves GPT-4 and PaLM 2's performance on challenging reasoning benchmarks such as BigBench-Hard, grounded agent reasoning, and MATH, by as much as 32% compared to Chain of Thought (CoT). Furthermore, SELF-DISCOVER outperforms inference-intensive methods such as CoT-Self-Consistency by more than 20%, while requiring 10-40x fewer inference compute. Finally, we show that the self-discovered reasoning structures are universally applicable across model families: from PaLM 2-L to GPT-4, and from GPT-4 to Llama2, and share commonalities with human reasoning patterns.