PointArena: Exploración del Anclaje Multimodal a través de la Indicación Guiada por Lenguaje

PointArena: Probing Multimodal Grounding Through Language-Guided Pointing

May 15, 2025

Autores: Long Cheng, Jiafei Duan, Yi Ru Wang, Haoquan Fang, Boyang Li, Yushan Huang, Elvis Wang, Ainaz Eftekhar, Jason Lee, Wentao Yuan, Rose Hendrix, Noah A. Smith, Fei Xia, Dieter Fox, Ranjay Krishna

cs.AI

Resumen

El señalamiento funciona como un mecanismo fundamental e intuitivo para anclar el lenguaje en contextos visuales, con aplicaciones que abarcan la robótica, tecnologías asistivas y sistemas de IA interactivos. Aunque los modelos multimodales recientes han comenzado a incorporar capacidades de señalamiento, los benchmarks existentes suelen centrarse únicamente en tareas de localización referencial de objetos. Presentamos PointArena, una plataforma integral para evaluar el señalamiento multimodal en diversos escenarios de razonamiento. PointArena consta de tres componentes: (1) Point-Bench, un conjunto de datos curado que contiene aproximadamente 1,000 tareas de señalamiento en cinco categorías de razonamiento; (2) Point-Battle, una arena interactiva basada en la web que facilita comparaciones ciegas y por pares de modelos, y que ya ha recopilado más de 4,500 votos anónimos; y (3) Point-Act, un sistema de manipulación robótica en el mundo real que permite a los usuarios evaluar directamente las capacidades de señalamiento de modelos multimodales en entornos prácticos. Realizamos evaluaciones exhaustivas de modelos multimodales tanto de código abierto como propietarios de última generación. Los resultados indican que Molmo-72B supera consistentemente a otros modelos, aunque los modelos propietarios muestran un rendimiento cada vez más comparable. Además, encontramos que el entrenamiento supervisado específicamente dirigido a tareas de señalamiento mejora significativamente el rendimiento del modelo. A lo largo de nuestra pipeline de evaluación en múltiples etapas, también observamos fuertes correlaciones, destacando el papel crítico de las capacidades precisas de señalamiento para permitir que los modelos multimodales conecten efectivamente el razonamiento abstracto con acciones concretas en el mundo real. Página del proyecto: https://pointarena.github.io/

English

Pointing serves as a fundamental and intuitive mechanism for grounding language within visual contexts, with applications spanning robotics, assistive technologies, and interactive AI systems. While recent multimodal models have started to support pointing capabilities, existing benchmarks typically focus only on referential object localization tasks. We introduce PointArena, a comprehensive platform for evaluating multimodal pointing across diverse reasoning scenarios. PointArena comprises three components: (1) Point-Bench, a curated dataset containing approximately 1,000 pointing tasks across five reasoning categories; (2) Point-Battle, an interactive, web-based arena facilitating blind, pairwise model comparisons, which has already gathered over 4,500 anonymized votes; and (3) Point-Act, a real-world robotic manipulation system allowing users to directly evaluate multimodal model pointing capabilities in practical settings. We conducted extensive evaluations of both state-of-the-art open-source and proprietary multimodal models. Results indicate that Molmo-72B consistently outperforms other models, though proprietary models increasingly demonstrate comparable performance. Additionally, we find that supervised training specifically targeting pointing tasks significantly enhances model performance. Across our multi-stage evaluation pipeline, we also observe strong correlations, underscoring the critical role of precise pointing capabilities in enabling multimodal models to effectively bridge abstract reasoning with concrete, real-world actions. Project page: https://pointarena.github.io/