Self-Discover: Los Modelos de Lenguaje de Gran Escala Autocomponen Estructuras de Razonamiento

Self-Discover: Large Language Models Self-Compose Reasoning Structures

February 6, 2024

Autores: Pei Zhou, Jay Pujara, Xiang Ren, Xinyun Chen, Heng-Tze Cheng, Quoc V. Le, Ed H. Chi, Denny Zhou, Swaroop Mishra, Huaixiu Steven Zheng

cs.AI

Resumen

Presentamos SELF-DISCOVER, un marco general para que los modelos de lenguaje grandes (LLMs) descubran por sí mismos las estructuras de razonamiento intrínsecas a la tarea, con el fin de abordar problemas de razonamiento complejos que resultan desafiantes para los métodos de prompting tradicionales. El núcleo del marco es un proceso de autodescubrimiento en el que los LLMs seleccionan múltiples módulos de razonamiento atómico, como el pensamiento crítico y el razonamiento paso a paso, y los componen en una estructura de razonamiento explícita para que los LLMs sigan durante la decodificación. SELF-DISCOVER mejora sustancialmente el rendimiento de GPT-4 y PaLM 2 en benchmarks de razonamiento desafiantes como BigBench-Hard, razonamiento de agentes fundamentados y MATH, hasta en un 32% en comparación con Chain of Thought (CoT). Además, SELF-DISCOVER supera a métodos intensivos en inferencia como CoT-Self-Consistency en más de un 20%, mientras requiere entre 10 y 40 veces menos cómputo de inferencia. Finalmente, demostramos que las estructuras de razonamiento autodescubiertas son universalmente aplicables entre familias de modelos: desde PaLM 2-L hasta GPT-4, y desde GPT-4 hasta Llama2, y comparten similitudes con los patrones de razonamiento humano.

English

We introduce SELF-DISCOVER, a general framework for LLMs to self-discover the task-intrinsic reasoning structures to tackle complex reasoning problems that are challenging for typical prompting methods. Core to the framework is a self-discovery process where LLMs select multiple atomic reasoning modules such as critical thinking and step-by-step thinking, and compose them into an explicit reasoning structure for LLMs to follow during decoding. SELF-DISCOVER substantially improves GPT-4 and PaLM 2's performance on challenging reasoning benchmarks such as BigBench-Hard, grounded agent reasoning, and MATH, by as much as 32% compared to Chain of Thought (CoT). Furthermore, SELF-DISCOVER outperforms inference-intensive methods such as CoT-Self-Consistency by more than 20%, while requiring 10-40x fewer inference compute. Finally, we show that the self-discovered reasoning structures are universally applicable across model families: from PaLM 2-L to GPT-4, and from GPT-4 to Llama2, and share commonalities with human reasoning patterns.