Созвездие Мыслей: Улучшение цепочек рассуждений в языковых моделях с помощью минимального свободного разрешения

Syzygy of Thoughts: Improving LLM CoT with the Minimal Free Resolution

April 13, 2025

Авторы: Chenghao Li, Chaoning Zhang, Yi Lu, Jiaquan Zhang, Qigan Sun, Xudong Wang, Jiwei Wei, Guoqing Wang, Yang Yang, Heng Tao Shen

cs.AI

Аннотация

Метод Chain-of-Thought (CoT) улучшает рассуждения больших языковых моделей (LLM), разбивая задачи на последовательные шаги, имитируя человеческую логику и снижая количество ошибок. Однако сложные задачи с обширными пространствами решений и нечеткими ограничениями часто выходят за пределы возможностей одной цепочки рассуждений. Вдохновленные концепцией Минимальной Свободной Резольвенты (MFR) в коммутативной алгебре и алгебраической геометрии, мы предлагаем Syzygy of Thoughts (SoT) — новый фреймворк, который расширяет CoT за счет введения вспомогательных, взаимосвязанных путей рассуждений. SoT фиксирует более глубокие логические зависимости, обеспечивая более устойчивое и структурированное решение задач. MFR разлагает модуль на последовательность свободных модулей с минимальным рангом, предоставляя структурированный аналитический подход к сложным системам. Этот метод вводит понятия "Модуль", "Числа Бетти", "Свободность", "Отображение", "Точность" и "Минимальность", позволяя систематически разлагать исходную сложную задачу на логически завершенные минимальные подзадачи, сохраняя ключевые особенности задачи и сокращая длину рассуждений. Мы протестировали SoT на различных наборах данных (например, GSM8K, MATH) и моделях (например, GPT-4o-mini, Qwen2.5), достигнув точности вывода, которая соответствует или превосходит стандарты основных CoT. Кроме того, за счет согласования процесса выборки с алгебраическими ограничениями наш подход повышает масштабируемость времени вывода в LLM, обеспечивая как прозрачность рассуждений, так и высокую производительность. Наш код будет доступен публично по адресу https://github.com/dlMARiA/Syzygy-of-thoughts.

English

Chain-of-Thought (CoT) prompting enhances the reasoning of large language models (LLMs) by decomposing problems into sequential steps, mimicking human logic and reducing errors. However, complex tasks with vast solution spaces and vague constraints often exceed the capacity of a single reasoning chain. Inspired by Minimal Free Resolution (MFR) in commutative algebra and algebraic geometry, we propose Syzygy of Thoughts (SoT)-a novel framework that extends CoT by introducing auxiliary, interrelated reasoning paths. SoT captures deeper logical dependencies, enabling more robust and structured problem-solving. MFR decomposes a module into a sequence of free modules with minimal rank, providing a structured analytical approach to complex systems. This method introduces the concepts of "Module", "Betti numbers","Freeness", "Mapping", "Exactness" and "Minimality", enabling the systematic decomposition of the original complex problem into logically complete minimal subproblems while preserving key problem features and reducing reasoning length. We tested SoT across diverse datasets (e.g., GSM8K, MATH) and models (e.g., GPT-4o-mini, Qwen2.5), achieving inference accuracy that matches or surpasses mainstream CoTs standards. Additionally, by aligning the sampling process with algebraic constraints, our approach enhances the scalability of inference time in LLMs, ensuring both transparent reasoning and high performance. Our code will be publicly available at https://github.com/dlMARiA/Syzygy-of-thoughts.