Sizigia de Pensamientos: Mejorando el CoT de LLM con la Resolución Libre Mínima

Resumen

El enfoque de Chain-of-Thought (CoT) mejora el razonamiento de los modelos de lenguaje grandes (LLMs) al descomponer problemas en pasos secuenciales, imitando la lógica humana y reduciendo errores. Sin embargo, tareas complejas con amplios espacios de solución y restricciones vagas suelen superar la capacidad de una única cadena de razonamiento. Inspirados por la Resolución Libre Mínima (MFR) en álgebra conmutativa y geometría algebraica, proponemos Syzygy of Thoughts (SoT), un marco novedoso que extiende CoT mediante la introducción de rutas de razonamiento auxiliares e interrelacionadas. SoT captura dependencias lógicas más profundas, permitiendo una resolución de problemas más robusta y estructurada. MFR descompone un módulo en una secuencia de módulos libres con rango mínimo, proporcionando un enfoque analítico estructurado para sistemas complejos. Este método introduce los conceptos de "Módulo", "Números de Betti", "Libertad", "Mapeo", "Exactitud" y "Minimalidad", permitiendo la descomposición sistemática del problema complejo original en subproblemas mínimos lógicamente completos, preservando características clave del problema y reduciendo la longitud del razonamiento. Probamos SoT en diversos conjuntos de datos (por ejemplo, GSM8K, MATH) y modelos (por ejemplo, GPT-4o-mini, Qwen2.5), logrando una precisión de inferencia que iguala o supera los estándares principales de CoT. Además, al alinear el proceso de muestreo con restricciones algebraicas, nuestro enfoque mejora la escalabilidad del tiempo de inferencia en LLMs, garantizando tanto un razonamiento transparente como un alto rendimiento. Nuestro código estará disponible públicamente en https://github.com/dlMARiA/Syzygy-of-thoughts.

English

Chain-of-Thought (CoT) prompting enhances the reasoning of large language models (LLMs) by decomposing problems into sequential steps, mimicking human logic and reducing errors. However, complex tasks with vast solution spaces and vague constraints often exceed the capacity of a single reasoning chain. Inspired by Minimal Free Resolution (MFR) in commutative algebra and algebraic geometry, we propose Syzygy of Thoughts (SoT)-a novel framework that extends CoT by introducing auxiliary, interrelated reasoning paths. SoT captures deeper logical dependencies, enabling more robust and structured problem-solving. MFR decomposes a module into a sequence of free modules with minimal rank, providing a structured analytical approach to complex systems. This method introduces the concepts of "Module", "Betti numbers","Freeness", "Mapping", "Exactness" and "Minimality", enabling the systematic decomposition of the original complex problem into logically complete minimal subproblems while preserving key problem features and reducing reasoning length. We tested SoT across diverse datasets (e.g., GSM8K, MATH) and models (e.g., GPT-4o-mini, Qwen2.5), achieving inference accuracy that matches or surpasses mainstream CoTs standards. Additionally, by aligning the sampling process with algebraic constraints, our approach enhances the scalability of inference time in LLMs, ensuring both transparent reasoning and high performance. Our code will be publicly available at https://github.com/dlMARiA/Syzygy-of-thoughts.

Sizigia de Pensamientos: Mejorando el CoT de LLM con la Resolución Libre Mínima

Syzygy of Thoughts: Improving LLM CoT with the Minimal Free Resolution

Resumen

Support