VisuoThink: Stärkung der LVLM-Argumentation durch multimodale Baumsuche

VisuoThink: Empowering LVLM Reasoning with Multimodal Tree Search

April 12, 2025

Autoren: Yikun Wang, Siyin Wang, Qinyuan Cheng, Zhaoye Fei, Liang Ding, Qipeng Guo, Dacheng Tao, Xipeng Qiu

cs.AI

Zusammenfassung

Jüngste Fortschritte bei großen visuell-sprachlichen Modellen haben bemerkenswerte Fähigkeiten gezeigt. Allerdings scheitern sie oft, wenn sie mit komplexen Denkaufgaben konfrontiert werden, die Menschen typischerweise durch visuelle Hilfsmittel und bewusstes, schrittweises Denken lösen. Während bestehende Methoden textbasiertes langsames Denken oder rudimentäre visuelle Unterstützung untersucht haben, erfassen sie nicht die komplexe, verschränkte Natur menschlicher visuell-verbaler Denkprozesse. Um diese Grenzen zu überwinden und inspiriert von den Mechanismen des langsamen Denkens in der menschlichen Kognition, führen wir VisuoThink ein, ein neuartiges Framework, das visuell-räumliche und sprachliche Domänen nahtlos integriert. VisuoThink ermöglicht multimodales langsames Denken durch progressives visuell-textuelles Schließen und integriert Testzeit-Skalierung durch Look-Ahead-Baumsuche. Umfangreiche Experimente zeigen, dass VisuoThink die Denkfähigkeiten durch Inferenzzeit-Skalierung signifikant verbessert, selbst ohne Feinabstimmung, und Spitzenleistungen in Aufgaben der Geometrie und räumlichen Logik erzielt.

English

Recent advancements in Large Vision-Language Models have showcased remarkable capabilities. However, they often falter when confronted with complex reasoning tasks that humans typically address through visual aids and deliberate, step-by-step thinking. While existing methods have explored text-based slow thinking or rudimentary visual assistance, they fall short of capturing the intricate, interleaved nature of human visual-verbal reasoning processes. To overcome these limitations and inspired by the mechanisms of slow thinking in human cognition, we introduce VisuoThink, a novel framework that seamlessly integrates visuospatial and linguistic domains. VisuoThink facilitates multimodal slow thinking by enabling progressive visual-textual reasoning and incorporates test-time scaling through look-ahead tree search. Extensive experiments demonstrate that VisuoThink significantly enhances reasoning capabilities via inference-time scaling, even without fine-tuning, achieving state-of-the-art performance in tasks involving geometry and spatial reasoning.