思考の共在：最小自由分解を用いたLLMの連鎖的思考プロセスの改善

Syzygy of Thoughts: Improving LLM CoT with the Minimal Free Resolution

April 13, 2025

著者: Chenghao Li, Chaoning Zhang, Yi Lu, Jiaquan Zhang, Qigan Sun, Xudong Wang, Jiwei Wei, Guoqing Wang, Yang Yang, Heng Tao Shen

cs.AI

要旨

Chain-of-Thought (CoT)プロンプティングは、問題を逐次的なステップに分解し、人間の論理を模倣してエラーを減らすことで、大規模言語モデル（LLM）の推論能力を向上させます。しかし、膨大な解空間と曖昧な制約を伴う複雑なタスクは、単一の推論チェーンの能力を超えることが多いです。可換環論と代数幾何学におけるMinimal Free Resolution (MFR)に着想を得て、我々はSyzygy of Thoughts (SoT)を提案します。これは、補助的で相互に関連する推論パスを導入することでCoTを拡張する新しいフレームワークです。SoTはより深い論理的依存関係を捉え、より堅牢で構造化された問題解決を可能にします。MFRはモジュールを最小ランクの自由モジュールの列に分解し、複雑なシステムに対する構造化された分析アプローチを提供します。この手法は「モジュール」「ベッティ数」「自由性」「写像」「完全性」「最小性」といった概念を導入し、元の複雑な問題を論理的に完結した最小部分問題に体系的に分解しながら、問題の主要な特徴を保持し、推論の長さを短縮します。我々はSoTを多様なデータセット（例：GSM8K、MATH）とモデル（例：GPT-4o-mini、Qwen2.5）でテストし、主流のCoT標準に匹敵またはそれを上回る推論精度を達成しました。さらに、サンプリングプロセスを代数的制約に整合させることで、LLMの推論時間のスケーラビリティを向上させ、透明な推論と高いパフォーマンスを両立させます。我々のコードはhttps://github.com/dlMARiA/Syzygy-of-thoughtsで公開されます。

English

Chain-of-Thought (CoT) prompting enhances the reasoning of large language models (LLMs) by decomposing problems into sequential steps, mimicking human logic and reducing errors. However, complex tasks with vast solution spaces and vague constraints often exceed the capacity of a single reasoning chain. Inspired by Minimal Free Resolution (MFR) in commutative algebra and algebraic geometry, we propose Syzygy of Thoughts (SoT)-a novel framework that extends CoT by introducing auxiliary, interrelated reasoning paths. SoT captures deeper logical dependencies, enabling more robust and structured problem-solving. MFR decomposes a module into a sequence of free modules with minimal rank, providing a structured analytical approach to complex systems. This method introduces the concepts of "Module", "Betti numbers","Freeness", "Mapping", "Exactness" and "Minimality", enabling the systematic decomposition of the original complex problem into logically complete minimal subproblems while preserving key problem features and reducing reasoning length. We tested SoT across diverse datasets (e.g., GSM8K, MATH) and models (e.g., GPT-4o-mini, Qwen2.5), achieving inference accuracy that matches or surpasses mainstream CoTs standards. Additionally, by aligning the sampling process with algebraic constraints, our approach enhances the scalability of inference time in LLMs, ensuring both transparent reasoning and high performance. Our code will be publicly available at https://github.com/dlMARiA/Syzygy-of-thoughts.