GradCuit: 신용 할당된 그래디언트 흐름을 통한 견고하고 해석 가능한 테스트 시점 잠재 추론

초록

최적화 기반 잠재 추론(latent reasoning)은 모델 파라미터를 고정한 상태에서 테스트 시점에 인스턴스별 연속 상태를 최적화하여 대규모 언어 모델의 출력을 개선한다. 그러나 기존 방법들은 일반적으로 이러한 상태를 디코딩된 토큰을 통해 추론 궤적과 연결하므로, 시퀀스 수준 신용 할당이 간접적이 되어 잠재 상태 업데이트가 이후 추론에 어떤 영향을 미치는지가 불분명하다. 우리는 GradCuit(gradient through circuit)를 제안한다. GradCuit는 선택된 트랜스포머 레이어에서 프롬프트의 은닉 표현과 생성된 연속부 사이에 최적화 가능한 잠재 상태를 삽입한다. 인과적 자기 어텐션(causal self-attention)은 모든 연속부 토큰의 로그 확률이 나머지 트랜스포머 블록을 통해 모든 선행 잠재 상태에 이르는 미분 가능한 경로를 제공하므로, 전체 연속부로부터의 보상 가중 그래디언트를 잠재 상태에 직접 할당할 수 있게 한다. 다섯 개의 지시 튜닝 백본, 세 개의 추론 벤치마크, 두 가지 답변 형식에 걸쳐 GradCuit는 평균 정확도 64.5%를 달성하여, 사고 사슬 프롬프팅보다 6.6퍼센트 포인트, 가장 강력한 경쟁 방법보다 2.4퍼센트 포인트 우수한 성능을 보인다. GradCuit는 또한 더 큰 견고성을 입증한다. 일곱 가지 학습률 설정에서 LatentSeek보다 일관되게 우수한 성능을 내면서 정확도의 표준 편차를 1.53에서 0.82로 줄였으며, 심지어 랜덤워크 변형도 LatentSeek와 경쟁력을 유지한다. 해석 가능성 측면에서, 토큰 수준 그래디언트 기여도 분석은 잠재 상태의 영향이 추론 연결 토큰에 집중됨을 보여주며, 레이어 분석은 초기~중간 트랜스포머 레이어가 가장 효과적인 최적화 공간임을 식별한다. 결과 피드백으로부터 내부 추론을 직접 최적화함으로써, GradCuit는 대규모 언어 모델이 출력을 단순히 재생성, 샘플링, 또는 재순위화하는 것이 아니라 추론 방식을 적응시키는, 견고하고 해석 가능한 테스트 시점 스케일링의 새로운 축을 연다.

English

Optimization-based latent reasoning improves large language model outputs by optimizing instance-specific continuous states at test time while keeping model parameters frozen. Existing methods, however, typically connect these states to the reasoning trajectory through decoded tokens, making sequence-level credit assignment indirect and obscuring how latent updates shape subsequent reasoning. We introduce GradCuit (gradient through circuit), which inserts optimizable latent states at a selected Transformer layer between the hidden representations of the prompt and the generated continuation. Causal self-attention provides every continuation-token log-probability with a differentiable path to every preceding latent state through the remaining Transformer blocks, enabling reward-weighted gradients from the entire continuation to be assigned directly to the latents. Across five instruction-tuned backbones, three reasoning benchmarks, and two answer formats, GradCuit achieves an average accuracy of 64.5%, outperforming chain-of-thought prompting by 6.6 percentage points and the strongest competing method by 2.4 points. GradCuit also demonstrates greater robustness: across seven learning-rate settings, it consistently outperforms LatentSeek while reducing the standard deviation of accuracy from 1.53 to 0.82, and even its random-walk variant remains competitive with LatentSeek. For interpretability, token-level gradient attribution reveals that latent influence concentrates on reasoning-connector tokens, while layer analysis identifies early-to-middle Transformer layers as the most effective optimization space. By directly optimizing internal reasoning from outcome feedback, GradCuit opens a new axis of robust and interpretable test-time scaling, where LLMs adapt how they reason rather than merely regenerate, sample, or rerank outputs.