Syzygy der Gedanken: Verbesserung des LLM CoT durch die minimale freie Auflösung

Syzygy of Thoughts: Improving LLM CoT with the Minimal Free Resolution

April 13, 2025

Autoren: Chenghao Li, Chaoning Zhang, Yi Lu, Jiaquan Zhang, Qigan Sun, Xudong Wang, Jiwei Wei, Guoqing Wang, Yang Yang, Heng Tao Shen

cs.AI

Zusammenfassung

Chain-of-Thought (CoT) Prompting verbessert die Argumentationsfähigkeit großer Sprachmodelle (LLMs), indem Probleme in sequenzielle Schritte zerlegt werden, die menschliche Logik nachahmen und Fehler reduzieren. Komplexe Aufgaben mit großen Lösungsräumen und vagen Einschränkungen übersteigen jedoch oft die Kapazität einer einzelnen Argumentationskette. Inspiriert von der Minimal Free Resolution (MFR) in der kommutativen Algebra und algebraischen Geometrie, schlagen wir Syzygy of Thoughts (SoT) vor – ein neuartiges Framework, das CoT durch die Einführung zusätzlicher, miteinander verknüpfter Argumentationspfade erweitert. SoT erfasst tiefere logische Abhängigkeiten und ermöglicht so robustere und strukturiertere Problemlösungen. MFR zerlegt ein Modul in eine Sequenz freier Module mit minimalem Rang und bietet einen strukturierten analytischen Ansatz für komplexe Systeme. Diese Methode führt die Konzepte „Modul“, „Betti-Zahlen“, „Freiheit“, „Abbildung“, „Exaktheit“ und „Minimalität“ ein, wodurch das ursprüngliche komplexe Problem systematisch in logisch vollständige minimale Teilprobleme zerlegt wird, während Schlüsselmerkmale des Problems erhalten bleiben und die Argumentationslänge reduziert wird. Wir haben SoT in verschiedenen Datensätzen (z. B. GSM8K, MATH) und Modellen (z. B. GPT-4o-mini, Qwen2.5) getestet und dabei eine Inferenzgenauigkeit erreicht, die den gängigen CoT-Standards entspricht oder diese übertrifft. Darüber hinaus verbessert unser Ansatz durch die Ausrichtung des Sampling-Prozesses an algebraischen Einschränkungen die Skalierbarkeit der Inferenzzeit in LLMs und gewährleistet sowohl transparente Argumentation als auch hohe Leistung. Unser Code wird öffentlich unter https://github.com/dlMARiA/Syzygy-of-thoughts verfügbar sein.

English

Chain-of-Thought (CoT) prompting enhances the reasoning of large language models (LLMs) by decomposing problems into sequential steps, mimicking human logic and reducing errors. However, complex tasks with vast solution spaces and vague constraints often exceed the capacity of a single reasoning chain. Inspired by Minimal Free Resolution (MFR) in commutative algebra and algebraic geometry, we propose Syzygy of Thoughts (SoT)-a novel framework that extends CoT by introducing auxiliary, interrelated reasoning paths. SoT captures deeper logical dependencies, enabling more robust and structured problem-solving. MFR decomposes a module into a sequence of free modules with minimal rank, providing a structured analytical approach to complex systems. This method introduces the concepts of "Module", "Betti numbers","Freeness", "Mapping", "Exactness" and "Minimality", enabling the systematic decomposition of the original complex problem into logically complete minimal subproblems while preserving key problem features and reducing reasoning length. We tested SoT across diverse datasets (e.g., GSM8K, MATH) and models (e.g., GPT-4o-mini, Qwen2.5), achieving inference accuracy that matches or surpasses mainstream CoTs standards. Additionally, by aligning the sampling process with algebraic constraints, our approach enhances the scalability of inference time in LLMs, ensuring both transparent reasoning and high performance. Our code will be publicly available at https://github.com/dlMARiA/Syzygy-of-thoughts.