PointArena : Exploration de l'ancrage multimodal via le pointage guidé par le langage

Résumé

Le pointage constitue un mécanisme fondamental et intuitif pour ancrer le langage dans des contextes visuels, avec des applications allant de la robotique aux technologies d'assistance et aux systèmes d'IA interactifs. Bien que les modèles multimodaux récents aient commencé à intégrer des capacités de pointage, les benchmarks existants se concentrent généralement uniquement sur des tâches de localisation référentielle d'objets. Nous présentons PointArena, une plateforme complète pour évaluer le pointage multimodal dans divers scénarios de raisonnement. PointArena se compose de trois éléments : (1) Point-Bench, un ensemble de données soigneusement sélectionné contenant environ 1 000 tâches de pointage réparties en cinq catégories de raisonnement ; (2) Point-Battle, une arène interactive basée sur le web facilitant des comparaisons par paires de modèles en aveugle, qui a déjà recueilli plus de 4 500 votes anonymes ; et (3) Point-Act, un système de manipulation robotique en monde réel permettant aux utilisateurs d'évaluer directement les capacités de pointage des modèles multimodaux dans des contextes pratiques. Nous avons mené des évaluations approfondies des modèles multimodaux open-source et propriétaires les plus avancés. Les résultats indiquent que Molmo-72B surpasse systématiquement les autres modèles, bien que les modèles propriétaires démontrent de plus en plus des performances comparables. De plus, nous constatons qu'un entraînement supervisé ciblant spécifiquement les tâches de pointage améliore significativement les performances des modèles. À travers notre pipeline d'évaluation multi-étapes, nous observons également de fortes corrélations, soulignant le rôle crucial des capacités de pointage précises pour permettre aux modèles multimodaux de relier efficacement le raisonnement abstrait à des actions concrètes dans le monde réel. Page du projet : https://pointarena.github.io/

English

Pointing serves as a fundamental and intuitive mechanism for grounding language within visual contexts, with applications spanning robotics, assistive technologies, and interactive AI systems. While recent multimodal models have started to support pointing capabilities, existing benchmarks typically focus only on referential object localization tasks. We introduce PointArena, a comprehensive platform for evaluating multimodal pointing across diverse reasoning scenarios. PointArena comprises three components: (1) Point-Bench, a curated dataset containing approximately 1,000 pointing tasks across five reasoning categories; (2) Point-Battle, an interactive, web-based arena facilitating blind, pairwise model comparisons, which has already gathered over 4,500 anonymized votes; and (3) Point-Act, a real-world robotic manipulation system allowing users to directly evaluate multimodal model pointing capabilities in practical settings. We conducted extensive evaluations of both state-of-the-art open-source and proprietary multimodal models. Results indicate that Molmo-72B consistently outperforms other models, though proprietary models increasingly demonstrate comparable performance. Additionally, we find that supervised training specifically targeting pointing tasks significantly enhances model performance. Across our multi-stage evaluation pipeline, we also observe strong correlations, underscoring the critical role of precise pointing capabilities in enabling multimodal models to effectively bridge abstract reasoning with concrete, real-world actions. Project page: https://pointarena.github.io/

PointArena : Exploration de l'ancrage multimodal via le pointage guidé par le langage

PointArena: Probing Multimodal Grounding Through Language-Guided Pointing

Résumé

Support