잠재를 통해 추론하라! 잠재 시각 추론을 필수로 만들기

초록

잠재 시각 추론은 명시적 텍스트 사고 연쇄가 아니라 은닉 상태 계산을 통해 멀티모달 추론을 수행하는 것을 목표로 한다. 그러나 시각 정보가 잠재 상태에 존재한다고 해서, 특히 대안적인 이미지 조건화 경로가 여전히 사용 가능할 때, 모델이 답을 생성할 때 실제로 그 상태에 의존한다는 것을 의미하지는 않는다. 우리는 CVRR(인과적 시각 순환 추론)을 제안한다. 이는 사전학습된 시각 능력을 보존하면서 순환 계산을 예측에 이르는 필수 이미지 조건화 경로로 만든다. CVRR은 사전학습된 시각-언어 모델이 이미지를 통합한 후 질문 은닉 상태에서 순환을 초기화하고, 동일한 고정 시각 증거를 반복적으로 다시 읽으면서 이 상태를 반복적으로 갱신한다. 디코딩 전에 시각 상태와 원래의 멀티모달 KV 캐시를 제거하여, 최종 순환 상태만이 이미지 조건화 정보를 답으로 전달하도록 한다. V^*, MMVP, BLINK, MME-RealWorld-Lite 벤치마크 전반에서 CVRR은 이러한 엄격한 인터페이스 아래에서도 강력한 성능을 유지하는 반면, 호환 가능한 잠재 추론기들은 동일한 제약 아래에서 재학습되어도 이에 필적하는 시각 능력을 회복하지 못한다. 인과 개입은 또한 질문을 고정했을 때 예측이 순환 내용에 민감하게 유지되며, 지속적인 시각 증거가 순환 궤적을 인과적으로 수정한다는 것을 보여준다. 이러한 결과는 잠재 정보성과 실제로 예측에 사용되는 잠재 계산을 구분한다.

English

Latent visual reasoning aims to perform multimodal reasoning through hidden-state computation rather than explicit textual chains of thought. However, visual information being present in a latent state does not imply that the model actually relies on that state when producing its answer, especially when alternative image-conditioned paths remain available. We introduce Causal Visual Recurrent Reasoning (CVRR), which preserves pretrained visual competence while making recurrent computation the required image-conditioned path to prediction. CVRR initializes recurrence from the question hidden state after the pretrained vision-language model has incorporated the image, then repeatedly updates this state while re-reading the same fixed visual evidence. Before decoding, visual states and the original multimodal KV cache are removed so that only the final recurrent state carries image-conditioned information to the answer. Across the V^*, MMVP, BLINK, and MME-RealWorld-Lite benchmarks, CVRR retains strong performance under this strict interface, while compatible latent reasoners fail to recover comparable visual competence even when retrained under the same constraint. Causal interventions further show that predictions remain sensitive to recurrent content when the question is held fixed, and that persistent visual evidence causally revises the recurrent trajectory. These results distinguish latent informativeness from latent computation that is actually used for prediction.