Verloren in der Zeit: Herausforderungen beim Verständnis von Uhrzeit und Kalender in Multimodalen LLMs

Lost in Time: Clock and Calendar Understanding Challenges in Multimodal LLMs

February 7, 2025

Autoren: Rohit Saxena, Aryo Pradipta Gema, Pasquale Minervini

cs.AI

Zusammenfassung

Das Verständnis von Zeit anhand visueller Darstellungen ist eine grundlegende kognitive Fähigkeit, stellt jedoch nach wie vor eine Herausforderung für multimodale große Sprachmodelle (MLLMs) dar. In dieser Arbeit untersuchen wir die Fähigkeiten von MLLMs bei der Interpretation von Zeit und Datum anhand analoger Uhren und jährlicher Kalender. Um dies zu erleichtern, haben wir einen strukturierten Datensatz erstellt, der aus zwei Teilmengen besteht: 1) ClockQA, die verschiedene Arten von Uhren umfasst - Standard, Schwarz-Zifferblatt, ohne Sekundenzeiger, römische Ziffern und Pfeilzeiger - gepaart mit zeitbezogenen Fragen; und 2) CalendarQA, die aus jährlichen Kalenderbildern mit Fragen von allgemein bekannten Daten (z. B. Weihnachten, Neujahr) bis hin zu berechneten Daten (z. B. der 100. oder 153. Tag des Jahres) besteht. Unser Ziel ist es zu analysieren, wie MLLMs visuelle Erkennung, numerisches Denken und zeitliche Schlussfolgerungen durchführen können, wenn sie mit zeitbezogenen visuellen Daten konfrontiert werden. Unsere Bewertungen zeigen, dass trotz jüngster Fortschritte das zuverlässige Verständnis von Zeit für MLLMs nach wie vor eine bedeutende Herausforderung darstellt.

English

Understanding time from visual representations is a fundamental cognitive skill, yet it remains a challenge for multimodal large language models (MLLMs). In this work, we investigate the capabilities of MLLMs in interpreting time and date through analogue clocks and yearly calendars. To facilitate this, we curated a structured dataset comprising two subsets: 1) ClockQA, which comprises various types of clock styles-standard, black-dial, no-second-hand, Roman numeral, and arrow-hand clocks-paired with time related questions; and 2) CalendarQA, which consists of yearly calendar images with questions ranging from commonly known dates (e.g., Christmas, New Year's Day) to computationally derived ones (e.g., the 100th or 153rd day of the year). We aim to analyse how MLLMs can perform visual recognition, numerical reasoning, and temporal inference when presented with time-related visual data. Our evaluations show that despite recent advancements, reliably understanding time remains a significant challenge for MLLMs.