Sizigia dos Pensamentos: Melhorando o CoT de LLMs com a Resolução Livre Mínima

Syzygy of Thoughts: Improving LLM CoT with the Minimal Free Resolution

April 13, 2025

Autores: Chenghao Li, Chaoning Zhang, Yi Lu, Jiaquan Zhang, Qigan Sun, Xudong Wang, Jiwei Wei, Guoqing Wang, Yang Yang, Heng Tao Shen

cs.AI

Resumo

O prompting Chain-of-Thought (CoT) aprimora o raciocínio de grandes modelos de linguagem (LLMs) ao decompor problemas em etapas sequenciais, imitando a lógica humana e reduzindo erros. No entanto, tarefas complexas com vastos espaços de solução e restrições vagas frequentemente excedem a capacidade de uma única cadeia de raciocínio. Inspirados pela Resolução Livre Mínima (MFR) em álgebra comutativa e geometria algébrica, propomos o Syzygy of Thoughts (SoT) — um novo framework que estende o CoT ao introduzir caminhos de raciocínio auxiliares e inter-relacionados. O SoT captura dependências lógicas mais profundas, permitindo uma resolução de problemas mais robusta e estruturada. A MFR decompõe um módulo em uma sequência de módulos livres com posto mínimo, fornecendo uma abordagem analítica estruturada para sistemas complexos. Esse método introduz os conceitos de "Módulo", "Números de Betti", "Liberdade", "Mapeamento", "Exatidão" e "Minimalidade", permitindo a decomposição sistemática do problema complexo original em subproblemas mínimos logicamente completos, preservando características-chave do problema e reduzindo o comprimento do raciocínio. Testamos o SoT em diversos conjuntos de dados (por exemplo, GSM8K, MATH) e modelos (por exemplo, GPT-4o-mini, Qwen2.5), alcançando precisão de inferência que iguala ou supera os padrões principais de CoTs. Além disso, ao alinhar o processo de amostragem com restrições algébricas, nossa abordagem melhora a escalabilidade do tempo de inferência em LLMs, garantindo tanto raciocínio transparente quanto alto desempenho. Nosso código estará publicamente disponível em https://github.com/dlMARiA/Syzygy-of-thoughts.

English

Chain-of-Thought (CoT) prompting enhances the reasoning of large language models (LLMs) by decomposing problems into sequential steps, mimicking human logic and reducing errors. However, complex tasks with vast solution spaces and vague constraints often exceed the capacity of a single reasoning chain. Inspired by Minimal Free Resolution (MFR) in commutative algebra and algebraic geometry, we propose Syzygy of Thoughts (SoT)-a novel framework that extends CoT by introducing auxiliary, interrelated reasoning paths. SoT captures deeper logical dependencies, enabling more robust and structured problem-solving. MFR decomposes a module into a sequence of free modules with minimal rank, providing a structured analytical approach to complex systems. This method introduces the concepts of "Module", "Betti numbers","Freeness", "Mapping", "Exactness" and "Minimality", enabling the systematic decomposition of the original complex problem into logically complete minimal subproblems while preserving key problem features and reducing reasoning length. We tested SoT across diverse datasets (e.g., GSM8K, MATH) and models (e.g., GPT-4o-mini, Qwen2.5), achieving inference accuracy that matches or surpasses mainstream CoTs standards. Additionally, by aligning the sampling process with algebraic constraints, our approach enhances the scalability of inference time in LLMs, ensuring both transparent reasoning and high performance. Our code will be publicly available at https://github.com/dlMARiA/Syzygy-of-thoughts.