PointArena: Исследование мультимодальной привязки через указание, управляемое языком

PointArena: Probing Multimodal Grounding Through Language-Guided Pointing

May 15, 2025

Авторы: Long Cheng, Jiafei Duan, Yi Ru Wang, Haoquan Fang, Boyang Li, Yushan Huang, Elvis Wang, Ainaz Eftekhar, Jason Lee, Wentao Yuan, Rose Hendrix, Noah A. Smith, Fei Xia, Dieter Fox, Ranjay Krishna

cs.AI

Аннотация

Указание служит фундаментальным и интуитивно понятным механизмом для привязки языка к визуальным контекстам, с приложениями в робототехнике, вспомогательных технологиях и интерактивных системах с искусственным интеллектом. Хотя современные мультимодальные модели начали поддерживать возможности указания, существующие бенчмарки обычно сосредоточены только на задачах локализации референтных объектов. Мы представляем PointArena — комплексную платформу для оценки мультимодального указания в разнообразных сценариях рассуждений. PointArena состоит из трех компонентов: (1) Point-Bench, тщательно отобранный набор данных, содержащий около 1000 задач на указание в пяти категориях рассуждений; (2) Point-Battle, интерактивная веб-арена, облегчающая слепые попарные сравнения моделей, которая уже собрала более 4500 анонимных голосов; и (3) Point-Act, система манипуляции в реальном мире, позволяющая пользователям напрямую оценивать возможности мультимодальных моделей в практических условиях. Мы провели обширные оценки как передовых открытых, так и проприетарных мультимодальных моделей. Результаты показывают, что Molmo-72B стабильно превосходит другие модели, хотя проприетарные модели все чаще демонстрируют сопоставимую производительность. Кроме того, мы обнаружили, что обучение с учителем, специально нацеленное на задачи указания, значительно улучшает производительность моделей. На всех этапах нашей многоуровневой системы оценки мы также наблюдаем сильные корреляции, подчеркивая критическую роль точных возможностей указания в том, чтобы мультимодальные модели могли эффективно связывать абстрактные рассуждения с конкретными действиями в реальном мире. Страница проекта: https://pointarena.github.io/

English

Pointing serves as a fundamental and intuitive mechanism for grounding language within visual contexts, with applications spanning robotics, assistive technologies, and interactive AI systems. While recent multimodal models have started to support pointing capabilities, existing benchmarks typically focus only on referential object localization tasks. We introduce PointArena, a comprehensive platform for evaluating multimodal pointing across diverse reasoning scenarios. PointArena comprises three components: (1) Point-Bench, a curated dataset containing approximately 1,000 pointing tasks across five reasoning categories; (2) Point-Battle, an interactive, web-based arena facilitating blind, pairwise model comparisons, which has already gathered over 4,500 anonymized votes; and (3) Point-Act, a real-world robotic manipulation system allowing users to directly evaluate multimodal model pointing capabilities in practical settings. We conducted extensive evaluations of both state-of-the-art open-source and proprietary multimodal models. Results indicate that Molmo-72B consistently outperforms other models, though proprietary models increasingly demonstrate comparable performance. Additionally, we find that supervised training specifically targeting pointing tasks significantly enhances model performance. Across our multi-stage evaluation pipeline, we also observe strong correlations, underscoring the critical role of precise pointing capabilities in enabling multimodal models to effectively bridge abstract reasoning with concrete, real-world actions. Project page: https://pointarena.github.io/