Saisir n'importe quelle région : Vers une compréhension contextuelle précise des pixels pour les modèles de langage multimodaux

papers.abstract

Bien que les modèles de langage multimodaux de grande taille (MLLMs) excellent dans la compréhension holistique, ils peinent à capturer un monde dense avec des scènes complexes, nécessitant une analyse fine des détails complexes et des interrelations entre objets. Les MLLMs au niveau des régions ont constitué une étape prometteuse. Cependant, les tentatives précédentes sont généralement optimisées pour comprendre des régions données de manière isolée, négligeant les contextes globaux cruciaux. Pour remédier à cela, nous introduisons Grasp Any Region (GAR) pour une compréhension visuelle complète au niveau des régions. Grâce à une technique efficace de relecture des caractéristiques alignées sur les régions d'intérêt (RoI), GAR permet (1) une perception précise en exploitant les contextes globaux nécessaires, et (2) la modélisation des interactions entre plusieurs invites. Ensemble, il parvient naturellement à (3) un raisonnement compositionnel avancé pour répondre à des questions libres spécifiques sur n'importe quelle région, passant ainsi du paradigme de la description passive à celui du dialogue actif. De plus, nous construisons GAR-Bench, qui non seulement fournit une évaluation plus précise de la compréhension d'une seule région, mais aussi, et surtout, mesure les interactions et le raisonnement complexe à travers plusieurs régions. Des expériences approfondies ont démontré que GAR-1B non seulement maintient les capacités de légendage de pointe, par exemple en surpassant DAM-3B de +4,5 sur DLC-Bench, mais excelle également dans la modélisation des relations entre plusieurs invites avec des capacités de compréhension avancées, surpassant même InternVL3-78B sur GAR-Bench-VQA. Plus important encore, notre GAR-8B en zero-shot surpasse même VideoRefer-7B en domaine spécifique sur VideoRefer-BenchQ, indiquant que ses fortes capacités peuvent être facilement transférées aux vidéos.

English

While Multimodal Large Language Models (MLLMs) excel at holistic understanding, they struggle in capturing the dense world with complex scenes, requiring fine-grained analysis of intricate details and object inter-relationships. Region-level MLLMs have been a promising step. However, previous attempts are generally optimized to understand given regions in isolation, neglecting crucial global contexts. To address this, we introduce Grasp Any Region (GAR) for comprehen- sive region-level visual understanding. Empowered by an effective RoI-aligned feature replay technique, GAR supports (1) precise perception by leveraging necessary global contexts, and (2) modeling interactions between multiple prompts. Together, it then naturally achieves (3) advanced compositional reasoning to answer specific free-form questions about any region, shifting the paradigm from passive description to active dialogue. Moreover, we construct GAR-Bench, which not only provides a more accurate evaluation of single-region comprehension, but also, more importantly, measures interactions and complex reasoning across multiple regions. Extensive experiments have demonstrated that GAR-1B not only maintains the state-of-the-art captioning capabilities, e.g., outperforming DAM-3B +4.5 on DLC-Bench, but also excels at modeling relationships between multiple prompts with advanced comprehension capabilities, even surpassing InternVL3-78B on GAR-Bench-VQA. More importantly, our zero-shot GAR-8B even outperforms in-domain VideoRefer-7B on VideoRefer-BenchQ, indicating its strong capabilities can be easily transferred to videos.

Saisir n'importe quelle région : Vers une compréhension contextuelle précise des pixels pour les modèles de langage multimodaux

Grasp Any Region: Towards Precise, Contextual Pixel Understanding for Multimodal LLMs

papers.abstract

Support