VideoGLaMM: Un modelo multimodal de gran tamaño para la localización visual a nivel de píxel en vídeos
VideoGLaMM: A Large Multimodal Model for Pixel-Level Visual Grounding in Videos
November 7, 2024
Autores: Shehan Munasinghe, Hanan Gani, Wenqi Zhu, Jiale Cao, Eric Xing, Fahad Shahbaz Khan, Salman Khan
cs.AI
Resumen
La alineación detallada entre videos y texto es un desafío debido a la compleja dinámica espacial y temporal en los videos. Los Modelos Multimodales Grandes (LMMs) existentes basados en video manejan conversaciones básicas, pero luchan con la localización precisa a nivel de píxel en videos. Para abordar esto, presentamos VideoGLaMM, un LMM diseñado para una localización detallada a nivel de píxel en videos basada en entradas textuales proporcionadas por el usuario. Nuestro diseño conecta perfectamente tres componentes clave: un Modelo de Lenguaje Grande, un codificador de visión dual que enfatiza tanto los detalles espaciales como temporales, y un decodificador espacio-temporal para la generación precisa de máscaras. Esta conexión se facilita mediante adaptadores sintonizables V-L y L-V que permiten una estrecha alineación Visión-Lenguaje (VL). La arquitectura está entrenada para sincronizar tanto los elementos espaciales como temporales del contenido del video con las instrucciones textuales. Para permitir la localización detallada, hemos creado un conjunto de datos multimodal que presenta conversaciones detalladas visualmente ancladas utilizando una pipeline de anotación semiautomática, resultando en un conjunto diverso de 38k tripletas video-pregunta-respuesta junto con 83k objetos y 671k máscaras. Evaluamos VideoGLaMM en tres tareas desafiantes: Generación de Conversaciones Ancladas, Localización Visual y Segmentación de Video por Referencia. Los resultados experimentales muestran que nuestro modelo supera consistentemente a los enfoques existentes en las tres tareas.
English
Fine-grained alignment between videos and text is challenging due to complex
spatial and temporal dynamics in videos. Existing video-based Large Multimodal
Models (LMMs) handle basic conversations but struggle with precise pixel-level
grounding in videos. To address this, we introduce VideoGLaMM, a LMM designed
for fine-grained pixel-level grounding in videos based on user-provided textual
inputs. Our design seamlessly connects three key components: a Large Language
Model, a dual vision encoder that emphasizes both spatial and temporal details,
and a spatio-temporal decoder for accurate mask generation. This connection is
facilitated via tunable V-L and L-V adapters that enable close Vision-Language
(VL) alignment. The architecture is trained to synchronize both spatial and
temporal elements of video content with textual instructions. To enable
fine-grained grounding, we curate a multimodal dataset featuring detailed
visually-grounded conversations using a semiautomatic annotation pipeline,
resulting in a diverse set of 38k video-QA triplets along with 83k objects and
671k masks. We evaluate VideoGLaMM on three challenging tasks: Grounded
Conversation Generation, Visual Grounding, and Referring Video Segmentation.
Experimental results show that our model consistently outperforms existing
approaches across all three tasks.