Self-Discover: Крупные языковые модели самостоятельно формируют структуры рассуждений

Self-Discover: Large Language Models Self-Compose Reasoning Structures

February 6, 2024

Авторы: Pei Zhou, Jay Pujara, Xiang Ren, Xinyun Chen, Heng-Tze Cheng, Quoc V. Le, Ed H. Chi, Denny Zhou, Swaroop Mishra, Huaixiu Steven Zheng

cs.AI

Аннотация

Мы представляем SELF-DISCOVER — универсальную структуру, позволяющую большим языковым моделям (LLM) самостоятельно выявлять внутренние структуры рассуждений для решения сложных задач, которые представляют трудности для стандартных методов подсказок. Основой этой структуры является процесс самообнаружения, в ходе которого LLM выбирают несколько атомарных модулей рассуждений, таких как критическое мышление и пошаговое мышление, и объединяют их в явную структуру рассуждений, которой модели следуют в процессе декодирования. SELF-DISCOVER значительно улучшает производительность GPT-4 и PaLM 2 на сложных тестах рассуждений, таких как BigBench-Hard, обоснованное рассуждение агентов и MATH, демонстрируя рост до 32% по сравнению с методом Chain of Thought (CoT). Более того, SELF-DISCOVER превосходит ресурсоемкие методы, такие как CoT-Self-Consistency, более чем на 20%, при этом требуя в 10–40 раз меньше вычислительных ресурсов для вывода. Наконец, мы показываем, что обнаруженные структуры рассуждений универсально применимы для различных семейств моделей: от PaLM 2-L до GPT-4 и от GPT-4 до Llama2, а также имеют сходство с паттернами человеческого мышления.

English

We introduce SELF-DISCOVER, a general framework for LLMs to self-discover the task-intrinsic reasoning structures to tackle complex reasoning problems that are challenging for typical prompting methods. Core to the framework is a self-discovery process where LLMs select multiple atomic reasoning modules such as critical thinking and step-by-step thinking, and compose them into an explicit reasoning structure for LLMs to follow during decoding. SELF-DISCOVER substantially improves GPT-4 and PaLM 2's performance on challenging reasoning benchmarks such as BigBench-Hard, grounded agent reasoning, and MATH, by as much as 32% compared to Chain of Thought (CoT). Furthermore, SELF-DISCOVER outperforms inference-intensive methods such as CoT-Self-Consistency by more than 20%, while requiring 10-40x fewer inference compute. Finally, we show that the self-discovered reasoning structures are universally applicable across model families: from PaLM 2-L to GPT-4, and from GPT-4 to Llama2, and share commonalities with human reasoning patterns.