VisuoThink: Potenciando el razonamiento de LVLM mediante búsqueda en árbol multimodal

VisuoThink: Empowering LVLM Reasoning with Multimodal Tree Search

April 12, 2025

Autores: Yikun Wang, Siyin Wang, Qinyuan Cheng, Zhaoye Fei, Liang Ding, Qipeng Guo, Dacheng Tao, Xipeng Qiu

cs.AI

Resumen

Los recientes avances en los Modelos de Visión y Lenguaje a Gran Escala han demostrado capacidades notables. Sin embargo, a menudo fallan cuando se enfrentan a tareas de razonamiento complejo que los humanos suelen abordar mediante ayudas visuales y un pensamiento deliberado y paso a paso. Aunque los métodos existentes han explorado el pensamiento lento basado en texto o asistencia visual rudimentaria, no logran capturar la naturaleza intrincada e intercalada de los procesos de razonamiento visual-verbal humanos. Para superar estas limitaciones e inspirados por los mecanismos del pensamiento lento en la cognición humana, presentamos VisuoThink, un marco novedoso que integra de manera fluida los dominios visuoespaciales y lingüísticos. VisuoThink facilita el pensamiento lento multimodal al permitir un razonamiento visual-textual progresivo e incorpora escalado en tiempo de prueba mediante búsqueda en árbol con visión anticipada. Experimentos exhaustivos demuestran que VisuoThink mejora significativamente las capacidades de razonamiento mediante escalado en tiempo de inferencia, incluso sin ajuste fino, logrando un rendimiento de vanguardia en tareas que involucran geometría y razonamiento espacial.

English

Recent advancements in Large Vision-Language Models have showcased remarkable capabilities. However, they often falter when confronted with complex reasoning tasks that humans typically address through visual aids and deliberate, step-by-step thinking. While existing methods have explored text-based slow thinking or rudimentary visual assistance, they fall short of capturing the intricate, interleaved nature of human visual-verbal reasoning processes. To overcome these limitations and inspired by the mechanisms of slow thinking in human cognition, we introduce VisuoThink, a novel framework that seamlessly integrates visuospatial and linguistic domains. VisuoThink facilitates multimodal slow thinking by enabling progressive visual-textual reasoning and incorporates test-time scaling through look-ahead tree search. Extensive experiments demonstrate that VisuoThink significantly enhances reasoning capabilities via inference-time scaling, even without fine-tuning, achieving state-of-the-art performance in tasks involving geometry and spatial reasoning.