A*-Thought-V2: LLM의 기하학적 동역학을 통한 효율적 잠재 추론

초록

사고 연쇄(Chain-of-Thought, CoT)는 대규모 언어 모델(LLM)의 추론 능력을 향상시키지만 상당한 연산 및 컨텍스트 비용을 초래한다. 기존 방법들은 하드 프루닝을 통해 중간 정보를 손실하거나 연속 압축을 위한 원칙에 기반한 기준을 결여한다. 우리는 A*-Thought-V2를 제시한다. 이는 LLM의 기하학적 동역학에 기반한 프레임워크로, CoT를 은닉 상태 궤적으로 모델링하고 하드 삭제를 명시적-암시적 교차 잠재 아키텍처로 대체한다. 질문, 단계, 해답 표현을 3차원 PCA 공간에 투영한 후, 각 국소 전이와 전역 질문-해답 방향 간의 정렬도를 측정한다. 정렬된 단계는 명시적 텍스트로 유지되는 반면, 벗어난 단계는 연속 잠재 토큰으로 압축된다. 방향 각도는 국소 의미론과 추론 동역학을 모두 포착한다. 작은 각도는 직접적 실행과 답 형성을 나타내는 반면, 큰 각도는 검사, 수정, 분기 탐색과 더 자주 관련된다. 이들의 시간적 변동은 탐색, 수렴, 정교화 단계를 드러낸다. 이 아키텍처를 훈련하기 위해, 우리는 각 중복 단계를 단일 잠재 임베딩으로 풀링하는 단계별 임베딩 강제(stepwise embedding forcing)와 하드 원-핫 레이블 대신 소프트 멀티모달 어휘 분포로 해당 잠재 토큰을 지도하는 레이블 강제(label forcing)를 도입한다. Qwen3.5-9B 및 Qwen3.6-27B에서 6개의 도메인 내 및 도메인 외 벤치마크에 대한 실험은 A*-Thought-V2가 평균 정확도를 최대 2.6% 향상시키면서 응답 길이를 최대 절반으로 줄이고, 연산 단위당 정확도(Accuracy per Computation Unit)를 2.29배 높이며, 전처리 및 훈련 시간을 각각 94.6% 및 최대 80.3% 감소시킴을 보여준다. 표현 분석은 잠재 상태가 텍스트 상태와 구별되는 조밀한 영역을 형성함을 시사하는 한편, 잠재 토큰 위치에서의 더 높은 엔트로피는 더 풍부한 단계 수준 특징 학습을 장려하는 더 넓은 소프트 타깃을 반영한다.

English

Chain-of-Thought (CoT) improves the reasoning ability of Large Language Models (LLMs) but incurs substantial computation and context costs. Existing methods either lose intermediate information through hard pruning or lack a principled criterion for continuous compression. We present A*-Thought-V2, a geometric dynamics of LLM guided framework that models CoT as a hidden-state trajectory and replaces hard deletion with an explicit-implicit interleaved latent architecture. After projecting question, step, and solution representations into a 3D PCA space, it measures alignment between each local transition and global question-to-solution direction. Aligned steps remain explicit text, whereas deviating steps are compressed into continuous latent tokens. Directional angles capture both local semantics and reasoning dynamics: small angles indicate direct execution and answer formation, while large angles more frequently involve checking, correction, and branch exploration; their temporal variation reveals exploration, convergence, and refinement stages. To train this architecture, we introduce stepwise embedding forcing, which pools each redundant step into a single latent embedding, and label forcing, which supervises that latent token with a soft multi-modal vocabulary distribution instead of a hard one-hot label. Experiments on Qwen3.5-9B and Qwen3.6-27B across six in-domain and out-of-domain benchmarks show that A*-Thought-V2 improves average accuracy by up to 2.6% while reducing response length by up to half, increasing Accuracy per Computation Unit by 2.29times, and reducing preprocessing and training time by 94.6% and up to 80.3%, respectively. Representation analyses suggest that latent states form a compact region distinct from textual states, while higher entropy at latent-token positions reflects broader soft targets that encourage richer step-level feature learning.