Syzygy van Gedachten: Verbetering van LLM CoT met de Minimale Vrije Resolutie

Syzygy of Thoughts: Improving LLM CoT with the Minimal Free Resolution

April 13, 2025

Auteurs: Chenghao Li, Chaoning Zhang, Yi Lu, Jiaquan Zhang, Qigan Sun, Xudong Wang, Jiwei Wei, Guoqing Wang, Yang Yang, Heng Tao Shen

cs.AI

Samenvatting

Chain-of-Thought (CoT) prompting verbetert het redeneervermogen van grote taalmodel- len (LLMs) door problemen op te delen in sequentiële stappen, waarbij menselijke logica wordt nagebootst en fouten worden verminderd. Complexe taken met uitgebreide oplos- singsruimtes en vage beperkingen overschrijden echter vaak de capaciteit van een enkele redeneerketen. Geïnspireerd door Minimal Free Resolution (MFR) in commutatieve alge- bra en algebraïsche meetkunde, stellen we Syzygy of Thoughts (SoT) voor—een nieuw framework dat CoT uitbreidt door aanvullende, onderling verbonden redeneerpaden te introduceren. SoT vangt diepere logische afhankelijkheden op, waardoor robuuster en gestructureerder probleemoplossing mogelijk wordt. MFR deconstrueert een module in een reeks vrije modules met minimale rang, wat een gestructureerde analytische aanpak biedt voor complexe systemen. Deze methode introduceert de concepten "Module", "Betti- getallen", "Vrijheid", "Afbeelding", "Exactheid" en "Minimaliteit", waardoor het oorspron- kelijke complexe probleem systematisch kan worden opgedeeld in logisch complete mini- male subproblemen, terwijl belangrijke probleemkenmerken behouden blijven en de rede- neerlengte wordt verkort. We hebben SoT getest op diverse datasets (bijv. GSM8K, MATH) en modellen (bijv. GPT-4o-mini, Qwen2.5), waarbij inferentienauwkeurigheid werd be- reikt die overeenkomt met of de mainstream CoT-standaarden overtreft. Daarnaast ver- betert onze aanpak, door het samplingproces af te stemmen op algebraïsche beperkingen, de schaalbaarheid van inferentietijd in LLMs, wat zowel transparant redeneren als hoge prestaties garandeert. Onze code zal publiekelijk beschikbaar zijn op https://github.com/ dlMARiA/Syzygy-of-thoughts.

English

Chain-of-Thought (CoT) prompting enhances the reasoning of large language models (LLMs) by decomposing problems into sequential steps, mimicking human logic and reducing errors. However, complex tasks with vast solution spaces and vague constraints often exceed the capacity of a single reasoning chain. Inspired by Minimal Free Resolution (MFR) in commutative algebra and algebraic geometry, we propose Syzygy of Thoughts (SoT)-a novel framework that extends CoT by introducing auxiliary, interrelated reasoning paths. SoT captures deeper logical dependencies, enabling more robust and structured problem-solving. MFR decomposes a module into a sequence of free modules with minimal rank, providing a structured analytical approach to complex systems. This method introduces the concepts of "Module", "Betti numbers","Freeness", "Mapping", "Exactness" and "Minimality", enabling the systematic decomposition of the original complex problem into logically complete minimal subproblems while preserving key problem features and reducing reasoning length. We tested SoT across diverse datasets (e.g., GSM8K, MATH) and models (e.g., GPT-4o-mini, Qwen2.5), achieving inference accuracy that matches or surpasses mainstream CoTs standards. Additionally, by aligning the sampling process with algebraic constraints, our approach enhances the scalability of inference time in LLMs, ensuring both transparent reasoning and high performance. Our code will be publicly available at https://github.com/dlMARiA/Syzygy-of-thoughts.