VisuoThink: 다중모드 트리 탐색을 통해 LVLM 추론 강화하기

VisuoThink: Empowering LVLM Reasoning with Multimodal Tree Search

April 12, 2025

저자: Yikun Wang, Siyin Wang, Qinyuan Cheng, Zhaoye Fei, Liang Ding, Qipeng Guo, Dacheng Tao, Xipeng Qiu

cs.AI

초록

대형 시각-언어 모델의 최근 발전은 놀라운 능력을 보여주고 있습니다. 그러나 인간이 일반적으로 시각적 보조 도구와 신중한 단계별 사고를 통해 해결하는 복잡한 추론 작업에 직면할 때는 종종 실패합니다. 기존 방법들은 텍스트 기반의 느린 사고나 기본적인 시각적 지원을 탐구했지만, 인간의 시각-언어 추론 과정의 복잡하고 교차된 특성을 충분히 포착하지 못했습니다. 이러한 한계를 극복하고 인간 인지의 느린 사고 메커니즘에서 영감을 받아, 우리는 시공간적 영역과 언어적 영역을 원활하게 통합하는 새로운 프레임워크인 VisuoThink를 소개합니다. VisuoThink는 점진적인 시각-텍스트 추론을 가능하게 하여 다중 모달 느린 사고를 촉진하고, 미리보기 트리 탐색을 통해 테스트 시간 스케일링을 통합합니다. 광범위한 실험을 통해 VisuoThink가 미세 조정 없이도 추론 시간 스케일링을 통해 추론 능력을 크게 향상시키며, 기하학 및 공간 추론 작업에서 최첨단 성능을 달성함을 입증했습니다.

English

Recent advancements in Large Vision-Language Models have showcased remarkable capabilities. However, they often falter when confronted with complex reasoning tasks that humans typically address through visual aids and deliberate, step-by-step thinking. While existing methods have explored text-based slow thinking or rudimentary visual assistance, they fall short of capturing the intricate, interleaved nature of human visual-verbal reasoning processes. To overcome these limitations and inspired by the mechanisms of slow thinking in human cognition, we introduce VisuoThink, a novel framework that seamlessly integrates visuospatial and linguistic domains. VisuoThink facilitates multimodal slow thinking by enabling progressive visual-textual reasoning and incorporates test-time scaling through look-ahead tree search. Extensive experiments demonstrate that VisuoThink significantly enhances reasoning capabilities via inference-time scaling, even without fine-tuning, achieving state-of-the-art performance in tasks involving geometry and spatial reasoning.