VisuoThink: LVLM-redenering versterken met multimodale boomzoektocht

VisuoThink: Empowering LVLM Reasoning with Multimodal Tree Search

April 12, 2025

Auteurs: Yikun Wang, Siyin Wang, Qinyuan Cheng, Zhaoye Fei, Liang Ding, Qipeng Guo, Dacheng Tao, Xipeng Qiu

cs.AI

Samenvatting

Recente vooruitgang in Grote Visueel-Taalmodellen heeft opmerkelijke mogelijkheden getoond. Ze falen echter vaak bij complexe redeneertaken die mensen doorgaans aanpakken met visuele hulpmiddelen en weloverwogen, stapsgewijs denken. Hoewel bestaande methoden tekstgebaseerd langzaam denken of rudimentaire visuele ondersteuning hebben onderzocht, schieten ze tekort in het vastleggen van de ingewikkelde, verweven aard van menselijke visueel-verbale redeneerprocessen. Om deze beperkingen te overwinnen en geïnspireerd door de mechanismen van langzaam denken in de menselijke cognitie, introduceren we VisuoThink, een nieuw raamwerk dat visuospatiale en linguïstische domeinen naadloos integreert. VisuoThink faciliteert multimodaal langzaam denken door progressief visueel-tekstueel redeneren mogelijk te maken en omvat test-time schaling via look-ahead boomzoeken. Uitgebreide experimenten tonen aan dat VisuoThink redeneervermogens aanzienlijk verbetert via inference-time schaling, zelfs zonder fine-tuning, en state-of-the-art prestaties bereikt in taken die betrekking hebben op geometrie en ruimtelijk redeneren.

English

Recent advancements in Large Vision-Language Models have showcased remarkable capabilities. However, they often falter when confronted with complex reasoning tasks that humans typically address through visual aids and deliberate, step-by-step thinking. While existing methods have explored text-based slow thinking or rudimentary visual assistance, they fall short of capturing the intricate, interleaved nature of human visual-verbal reasoning processes. To overcome these limitations and inspired by the mechanisms of slow thinking in human cognition, we introduce VisuoThink, a novel framework that seamlessly integrates visuospatial and linguistic domains. VisuoThink facilitates multimodal slow thinking by enabling progressive visual-textual reasoning and incorporates test-time scaling through look-ahead tree search. Extensive experiments demonstrate that VisuoThink significantly enhances reasoning capabilities via inference-time scaling, even without fine-tuning, achieving state-of-the-art performance in tasks involving geometry and spatial reasoning.