Syzygie des Pensées : Améliorer le Raisonnement en Chaîne des LLM grâce à la Résolution Libre Minimale

Syzygy of Thoughts: Improving LLM CoT with the Minimal Free Resolution

April 13, 2025

Auteurs: Chenghao Li, Chaoning Zhang, Yi Lu, Jiaquan Zhang, Qigan Sun, Xudong Wang, Jiwei Wei, Guoqing Wang, Yang Yang, Heng Tao Shen

cs.AI

Résumé

Le prompt Chain-of-Thought (CoT) améliore le raisonnement des grands modèles de langage (LLMs) en décomposant les problèmes en étapes séquentielles, imitant la logique humaine et réduisant les erreurs. Cependant, les tâches complexes avec des espaces de solutions vastes et des contraintes floues dépassent souvent la capacité d'une seule chaîne de raisonnement. Inspiré par la Résolution Libre Minimale (MFR) en algèbre commutative et géométrie algébrique, nous proposons Syzygy of Thoughts (SoT) - un nouveau cadre qui étend le CoT en introduisant des chemins de raisonnement auxiliaires et interreliés. SoT capture des dépendances logiques plus profondes, permettant une résolution de problèmes plus robuste et structurée. La MFR décompose un module en une séquence de modules libres de rang minimal, offrant une approche analytique structurée pour les systèmes complexes. Cette méthode introduit les concepts de "Module", "Nombres de Betti", "Liberté", "Application", "Exactitude" et "Minimalité", permettant la décomposition systématique du problème complexe original en sous-problèmes minimaux logiquement complets tout en préservant les caractéristiques clés du problème et en réduisant la longueur du raisonnement. Nous avons testé SoT sur divers ensembles de données (par exemple, GSM8K, MATH) et modèles (par exemple, GPT-4o-mini, Qwen2.5), atteignant une précision d'inférence qui correspond ou dépasse les standards CoT dominants. De plus, en alignant le processus d'échantillonnage sur les contraintes algébriques, notre approche améliore l'évolutivité du temps d'inférence dans les LLMs, garantissant à la fois un raisonnement transparent et des performances élevées. Notre code sera disponible publiquement à l'adresse https://github.com/dlMARiA/Syzygy-of-thoughts.

English

Chain-of-Thought (CoT) prompting enhances the reasoning of large language models (LLMs) by decomposing problems into sequential steps, mimicking human logic and reducing errors. However, complex tasks with vast solution spaces and vague constraints often exceed the capacity of a single reasoning chain. Inspired by Minimal Free Resolution (MFR) in commutative algebra and algebraic geometry, we propose Syzygy of Thoughts (SoT)-a novel framework that extends CoT by introducing auxiliary, interrelated reasoning paths. SoT captures deeper logical dependencies, enabling more robust and structured problem-solving. MFR decomposes a module into a sequence of free modules with minimal rank, providing a structured analytical approach to complex systems. This method introduces the concepts of "Module", "Betti numbers","Freeness", "Mapping", "Exactness" and "Minimality", enabling the systematic decomposition of the original complex problem into logically complete minimal subproblems while preserving key problem features and reducing reasoning length. We tested SoT across diverse datasets (e.g., GSM8K, MATH) and models (e.g., GPT-4o-mini, Qwen2.5), achieving inference accuracy that matches or surpasses mainstream CoTs standards. Additionally, by aligning the sampling process with algebraic constraints, our approach enhances the scalability of inference time in LLMs, ensuring both transparent reasoning and high performance. Our code will be publicly available at https://github.com/dlMARiA/Syzygy-of-thoughts.