생각의 합일: 최소 자유 해결을 통한 LLM CoT 개선

Syzygy of Thoughts: Improving LLM CoT with the Minimal Free Resolution

April 13, 2025

저자: Chenghao Li, Chaoning Zhang, Yi Lu, Jiaquan Zhang, Qigan Sun, Xudong Wang, Jiwei Wei, Guoqing Wang, Yang Yang, Heng Tao Shen

cs.AI

초록

Chain-of-Thought (CoT) 프롬프팅은 문제를 순차적 단계로 분해하여 인간의 논리를 모방하고 오류를 줄이는 방식으로 대규모 언어 모델(LLM)의 추론 능력을 향상시킵니다. 그러나 방대한 해결 공간과 모호한 제약 조건을 가진 복잡한 작업은 단일 추론 체인의 능력을 초과하는 경우가 많습니다. 교환 대수학과 대수 기하학에서의 Minimal Free Resolution (MFR)에서 영감을 받아, 우리는 Syzygy of Thoughts (SoT)라는 새로운 프레임워크를 제안합니다. SoT는 보조적이고 상호 연관된 추론 경로를 도입하여 CoT를 확장합니다. SoT는 더 깊은 논리적 의존성을 포착하여 더 견고하고 구조화된 문제 해결을 가능하게 합니다. MFR은 모듈을 최소 랭크를 가진 자유 모듈의 시퀀스로 분해함으로써 복잡한 시스템에 대한 구조화된 분석적 접근을 제공합니다. 이 방법은 "모듈", "Betti 수", "자유성", "매핑", "정확성", "최소성"과 같은 개념을 도입하여 원래의 복잡한 문제를 논리적으로 완전한 최소 하위 문제로 체계적으로 분해하면서도 핵심 문제 특성을 보존하고 추론 길이를 줄입니다. 우리는 SoT를 다양한 데이터셋(예: GSM8K, MATH)과 모델(예: GPT-4o-mini, Qwen2.5)에서 테스트하여 주요 CoT 표준을 맞추거나 능가하는 추론 정확도를 달성했습니다. 또한, 샘플링 프로세스를 대수적 제약 조건과 정렬함으로써 우리의 접근 방식은 LLM의 추론 시간 확장성을 향상시키며, 투명한 추론과 높은 성능을 보장합니다. 우리의 코드는 https://github.com/dlMARiA/Syzygy-of-thoughts에서 공개될 예정입니다.

English

Chain-of-Thought (CoT) prompting enhances the reasoning of large language models (LLMs) by decomposing problems into sequential steps, mimicking human logic and reducing errors. However, complex tasks with vast solution spaces and vague constraints often exceed the capacity of a single reasoning chain. Inspired by Minimal Free Resolution (MFR) in commutative algebra and algebraic geometry, we propose Syzygy of Thoughts (SoT)-a novel framework that extends CoT by introducing auxiliary, interrelated reasoning paths. SoT captures deeper logical dependencies, enabling more robust and structured problem-solving. MFR decomposes a module into a sequence of free modules with minimal rank, providing a structured analytical approach to complex systems. This method introduces the concepts of "Module", "Betti numbers","Freeness", "Mapping", "Exactness" and "Minimality", enabling the systematic decomposition of the original complex problem into logically complete minimal subproblems while preserving key problem features and reducing reasoning length. We tested SoT across diverse datasets (e.g., GSM8K, MATH) and models (e.g., GPT-4o-mini, Qwen2.5), achieving inference accuracy that matches or surpasses mainstream CoTs standards. Additionally, by aligning the sampling process with algebraic constraints, our approach enhances the scalability of inference time in LLMs, ensuring both transparent reasoning and high performance. Our code will be publicly available at https://github.com/dlMARiA/Syzygy-of-thoughts.