PointArena: Untersuchung der multimodalen Verankerung durch sprachgesteuertes Zeigen

Zusammenfassung

Zeigen dient als grundlegender und intuitiver Mechanismus, um Sprache in visuellen Kontexten zu verankern, mit Anwendungen in der Robotik, assistiven Technologien und interaktiven KI-Systemen. Während neuere multimodale Modelle begonnen haben, Zeigefähigkeiten zu unterstützen, konzentrieren sich bestehende Benchmarks typischerweise nur auf referenzielle Objektlokalisierungsaufgaben. Wir stellen PointArena vor, eine umfassende Plattform zur Bewertung multimodalen Zeigens in diversen Denkszenarien. PointArena besteht aus drei Komponenten: (1) Point-Bench, einem kuratierten Datensatz mit etwa 1.000 Zeigeaufgaben in fünf Denkkategorien; (2) Point-Battle, einer interaktiven, webbasierten Arena, die blinde, paarweise Modellvergleiche ermöglicht und bereits über 4.500 anonymisierte Stimmen gesammelt hat; und (3) Point-Act, einem realen robotischen Manipulationssystem, das Benutzern ermöglicht, die Zeigefähigkeiten multimodaler Modelle direkt in praktischen Anwendungen zu bewerten. Wir führten umfangreiche Bewertungen sowohl von state-of-the-art Open-Source- als auch proprietären multimodalen Modellen durch. Die Ergebnisse zeigen, dass Molmo-72B durchweg andere Modelle übertrifft, obwohl proprietäre Modelle zunehmend vergleichbare Leistungen zeigen. Darüber hinaus stellen wir fest, dass überwachtes Training, das speziell auf Zeigeaufgaben ausgerichtet ist, die Modellleistung signifikant verbessert. In unserer mehrstufigen Bewertungspipeline beobachten wir auch starke Korrelationen, die die entscheidende Rolle präziser Zeigefähigkeiten unterstreichen, um multimodalen Modellen zu ermöglichen, abstraktes Denken mit konkreten, realen Handlungen effektiv zu verbinden. Projektseite: https://pointarena.github.io/

English

Pointing serves as a fundamental and intuitive mechanism for grounding language within visual contexts, with applications spanning robotics, assistive technologies, and interactive AI systems. While recent multimodal models have started to support pointing capabilities, existing benchmarks typically focus only on referential object localization tasks. We introduce PointArena, a comprehensive platform for evaluating multimodal pointing across diverse reasoning scenarios. PointArena comprises three components: (1) Point-Bench, a curated dataset containing approximately 1,000 pointing tasks across five reasoning categories; (2) Point-Battle, an interactive, web-based arena facilitating blind, pairwise model comparisons, which has already gathered over 4,500 anonymized votes; and (3) Point-Act, a real-world robotic manipulation system allowing users to directly evaluate multimodal model pointing capabilities in practical settings. We conducted extensive evaluations of both state-of-the-art open-source and proprietary multimodal models. Results indicate that Molmo-72B consistently outperforms other models, though proprietary models increasingly demonstrate comparable performance. Additionally, we find that supervised training specifically targeting pointing tasks significantly enhances model performance. Across our multi-stage evaluation pipeline, we also observe strong correlations, underscoring the critical role of precise pointing capabilities in enabling multimodal models to effectively bridge abstract reasoning with concrete, real-world actions. Project page: https://pointarena.github.io/

PointArena: Untersuchung der multimodalen Verankerung durch sprachgesteuertes Zeigen

PointArena: Probing Multimodal Grounding Through Language-Guided Pointing

Zusammenfassung

Support