Jenseits des Auswendiglernens: Ein Benchmark für Multi-Modale Ordinale Regression zur Aufdeckung von Popularitätsverzerrungen in Vision-Sprache-Modellen

Beyond Memorization: A Multi-Modal Ordinal Regression Benchmark to Expose Popularity Bias in Vision-Language Models

December 24, 2025

papers.authors: Li-Zhong Szu-Tu, Ting-Lin Wu, Chia-Jui Chang, He Syu, Yu-Lun Liu

cs.AI

papers.abstract

Wir weisen eine erhebliche Popularitätsverzerrung in modernen Vision-Language-Modellen (VLMs) nach, die bei berühmten Gebäuden eine bis zu 34 % höhere Genauigkeit erzielen als bei gewöhnlichen. Dies deutet auf eine Abhängigkeit von Auswendiggelerntem hin und nicht auf ein generalisierbares Verständnis. Um dies systematisch zu untersuchen, führen wir den größten offenen Benchmark für diese Aufgabe ein: den YearGuessr-Datensatz. Diese Sammlung umfasst 55.546 Gebäudebilder mit multimodalen Attributen aus 157 Ländern, die mit kontinuierlichen ordinalen Labels für ihr Baujahr (1001–2024), GPS-Daten und Seitenaufrufzahlen als Indikator für die Popularität annotiert sind. Mithilfe dieses Datensatzes formulieren wir die Aufgabe der Baujahrsvorhersage als ordinale Regression und führen popularitätsbewusste Intervall-Genauigkeitsmetriken ein, um diese Verzerrung zu quantifizieren. Unser daraus resultierender Benchmark von über 30 Modellen, einschließlich unseres YearCLIP-Modells, bestätigt, dass VLMs bei populären, auswendig gelernten Objekten hervorragend abschneiden, bei unbekannten Subjekten jedoch erheblich Schwierigkeiten haben – was einen kritischen Fehler in ihren Fähigkeiten zur Schlussfolgerung offenlegt. Projektseite: https://sytwu.github.io/BeyondMemo/

English

We expose a significant popularity bias in state-of-the-art vision-language models (VLMs), which achieve up to 34% higher accuracy on famous buildings compared to ordinary ones, indicating a reliance on memorization over generalizable understanding. To systematically investigate this, we introduce the largest open benchmark for this task: the YearGuessr dataset, a collection of 55,546 building images with multi-modal attributes from 157 countries, annotated with continuous ordinal labels of their construction year (1001-2024), GPS data, and page-view counts as a proxy for popularity. Using this dataset, we frame the construction year prediction task as ordinal regression and introduce popularity-aware interval accuracy metrics to quantify this bias. Our resulting benchmark of 30+ models, including our YearCLIP model, confirms that VLMs excel on popular, memorized items but struggle significantly with unrecognized subjects, exposing a critical flaw in their reasoning capabilities. Project page: https://sytwu.github.io/BeyondMemo/