SemCoT: 의미론적으로 정렬된 암시적 토큰을 통한 사고 연쇄 추론 가속화

초록

Chain-of-Thought(CoT) 추론의 과도한 언어적 표현은 효율성이 중요한 애플리케이션에서의 대규모 적용을 저해합니다. 최근 등장한 암묵적 CoT 접근법은 추론 단계를 명시적 토큰 대신 LLM의 은닉 임베딩 내에 인코딩함으로써(이를 '암묵적 추론'이라 칭함) 추론 길이를 단축하고 일부 LLM 구성 요소를 우회하여 CoT를 가속화합니다. 그러나 기존 암묵적 CoT 방법은 두 가지 주요 과제에 직면합니다: (1) 암묵적 추론(자연어로 변환될 때)과 실제 추론 간의 의미적 정렬을 유지하지 못해 CoT 성능이 현저히 저하되며, (2) 암묵적 추론의 길이 축소에만 집중하여 개별 암묵적 추론 토큰을 생성하는 LLM의 상당한 시간 비용을 간과합니다. 이러한 과제를 해결하기 위해 본 논문은 SemCoT라는 새로운 의미 정렬 암묵적 CoT 프레임워크를 제안합니다. 첫 번째 과제에 대해서는 암묵적 추론과 명시적 추론 간의 의미적 정렬을 평가하는 대조 학습 기반 문장 변환기를 설계하여 암묵적 추론 최적화 과정에서 의미 보존을 강제합니다. 두 번째 과제를 해결하기 위해 지식 증류를 활용한 경량 언어 모델 미세 조정을 통한 효율적인 암묵적 추론 생성기를 도입합니다. 이 생성기는 실제 추론을 의미적으로 정렬된 암묵적 추론으로 증류하도록 문장 변환기의 지도를 받으며, 정확도 또한 함께 최적화합니다. SemCoT는 토큰 수준 생성 속도 최적화와 실제 추론과의 의미적 정렬 보존을 함께 수행하여 CoT 효율성을 향상시키는 최초의 접근법입니다. 폭넓은 실험을 통해 SemCoT가 효율성과 효과성 모두에서 최신 방법 대비 뛰어난 성능을 보임을 입증합니다. 코드는 https://github.com/YinhanHe123/SemCoT/에서 확인할 수 있습니다.

English

The verbosity of Chain-of-Thought (CoT) reasoning hinders its mass deployment in efficiency-critical applications. Recently, implicit CoT approaches have emerged, which encode reasoning steps within LLM's hidden embeddings (termed ``implicit reasoning'') rather than explicit tokens. This approach accelerates CoT by reducing the reasoning length and bypassing some LLM components. However, existing implicit CoT methods face two significant challenges: (1) they fail to preserve the semantic alignment between the implicit reasoning (when transformed to natural language) and the ground-truth reasoning, resulting in a significant CoT performance degradation, and (2) they focus on reducing the length of the implicit reasoning; however, they neglect the considerable time cost for an LLM to generate one individual implicit reasoning token. To tackle these challenges, we propose a novel semantically-aligned implicit CoT framework termed SemCoT. In particular, for the first challenge, we design a contrastively trained sentence transformer that evaluates semantic alignment between implicit and explicit reasoning, which is used to enforce semantic preservation during implicit reasoning optimization. To address the second challenge, we introduce an efficient implicit reasoning generator by finetuning a lightweight language model using knowledge distillation. This generator is guided by our sentence transformer to distill ground-truth reasoning into semantically aligned implicit reasoning, while also optimizing for accuracy. SemCoT is the first approach that enhances CoT efficiency by jointly optimizing token-level generation speed and preserving semantic alignment with ground-truth reasoning. Extensive experiments demonstrate the superior performance of SemCoT compared to state-of-the-art methods in both efficiency and effectiveness. Our code can be found at https://github.com/YinhanHe123/SemCoT/.

SemCoT: 의미론적으로 정렬된 암시적 토큰을 통한 사고 연쇄 추론 가속화

SemCoT: Accelerating Chain-of-Thought Reasoning through Semantically-Aligned Implicit Tokens

초록

Support