PointArena: Onderzoek naar Multimodale Verankering via Taalgestuurd Aanwijzen

PointArena: Probing Multimodal Grounding Through Language-Guided Pointing

May 15, 2025

Auteurs: Long Cheng, Jiafei Duan, Yi Ru Wang, Haoquan Fang, Boyang Li, Yushan Huang, Elvis Wang, Ainaz Eftekhar, Jason Lee, Wentao Yuan, Rose Hendrix, Noah A. Smith, Fei Xia, Dieter Fox, Ranjay Krishna

cs.AI

Samenvatting

Wijzen fungeert als een fundamenteel en intuïtief mechanisme om taal te verankeren in visuele contexten, met toepassingen die zich uitstrekken over robotica, ondersteunende technologieën en interactieve AI-systemen. Hoewel recente multimodale modellen begonnen zijn met het ondersteunen van wijsvaardigheden, richten bestaande benchmarks zich doorgaans alleen op referentiële objectlokalisatietaken. Wij introduceren PointArena, een uitgebreid platform voor het evalueren van multimodaal wijzen in diverse redeneerscenario's. PointArena bestaat uit drie componenten: (1) Point-Bench, een gecureerde dataset met ongeveer 1.000 wijstaken verdeeld over vijf redeneercategorieën; (2) Point-Battle, een interactieve, webgebaseerde arena die blinde, paarsgewijze modelvergelijkingen mogelijk maakt, waarin al meer dan 4.500 geanonimiseerde stemmen zijn verzameld; en (3) Point-Act, een real-world robotmanipulatiesysteem waarmee gebruikers de wijsvaardigheden van multimodale modellen direct kunnen evalueren in praktische settings. We hebben uitgebreide evaluaties uitgevoerd van zowel state-of-the-art open-source als propriëtaire multimodale modellen. De resultaten geven aan dat Molmo-72B consistent beter presteert dan andere modellen, hoewel propriëtaire modellen steeds vaker vergelijkbare prestaties laten zien. Daarnaast constateren we dat gesuperviseerde training die specifiek gericht is op wijstaken de modelprestaties aanzienlijk verbetert. In onze meerfasen-evaluatiepipeline observeren we ook sterke correlaties, wat het cruciale belang onderstreept van precieze wijsvaardigheden om multimodale modellen in staat te stellen abstract redeneren effectief te verbinden met concrete, real-world acties. Projectpagina: https://pointarena.github.io/

English

Pointing serves as a fundamental and intuitive mechanism for grounding language within visual contexts, with applications spanning robotics, assistive technologies, and interactive AI systems. While recent multimodal models have started to support pointing capabilities, existing benchmarks typically focus only on referential object localization tasks. We introduce PointArena, a comprehensive platform for evaluating multimodal pointing across diverse reasoning scenarios. PointArena comprises three components: (1) Point-Bench, a curated dataset containing approximately 1,000 pointing tasks across five reasoning categories; (2) Point-Battle, an interactive, web-based arena facilitating blind, pairwise model comparisons, which has already gathered over 4,500 anonymized votes; and (3) Point-Act, a real-world robotic manipulation system allowing users to directly evaluate multimodal model pointing capabilities in practical settings. We conducted extensive evaluations of both state-of-the-art open-source and proprietary multimodal models. Results indicate that Molmo-72B consistently outperforms other models, though proprietary models increasingly demonstrate comparable performance. Additionally, we find that supervised training specifically targeting pointing tasks significantly enhances model performance. Across our multi-stage evaluation pipeline, we also observe strong correlations, underscoring the critical role of precise pointing capabilities in enabling multimodal models to effectively bridge abstract reasoning with concrete, real-world actions. Project page: https://pointarena.github.io/