Vision Language Models zijn bevooroordeeld.

Samenvatting

Grote taalmodellen (LLMs) onthouden een enorme hoeveelheid voorkennis van het internet, wat hen helpt bij downstreamtaken, maar hun uitvoer ook berucht kan beïnvloeden richting foutieve of bevooroordeelde antwoorden. In dit werk testen we hoe kennis over populaire onderwerpen de nauwkeurigheid van visuele taalmodellen (VLMs) beïnvloedt bij standaard, objectieve visuele taken zoals tellen en identificeren. We ontdekken dat state-of-the-art VLMs sterk bevooroordeeld zijn (bijvoorbeeld, ze kunnen niet herkennen dat een vierde streep is toegevoegd aan een 3-strepen Adidas-logo) en gemiddeld slechts 17,05% nauwkeurigheid behalen bij het tellen (bijvoorbeeld, strepen tellen in een Adidas-achtig logo) over 7 diverse domeinen, variërend van dieren, logo's, schaken, bordspellen, optische illusies tot gepatroonde rasters. Het invoegen van tekst (bijvoorbeeld, "Adidas") die het onderwerp beschrijft in de tegenfeitelijke afbeelding verlaagt de nauwkeurigheid van VLMs verder. De vooroordelen in VLMs zijn zo sterk dat het hen instrueren om hun resultaten dubbel te controleren of uitsluitend op beelddetails te vertrouwen om te antwoorden, de tel-nauwkeurigheid gemiddeld slechts met +2 punten verbetert. Ons werk presenteert een interessante faalmodus in VLMs en een geautomatiseerd framework om VLM-vooroordelen te testen. Code en data zijn beschikbaar op: vlmsarebiased.github.io.

English

Large language models (LLMs) memorize a vast amount of prior knowledge from the Internet that help them on downstream tasks but also may notoriously sway their outputs towards wrong or biased answers. In this work, we test how the knowledge about popular subjects hurt the accuracy of vision language models (VLMs) on standard, objective visual tasks of counting and identification. We find that state-of-the-art VLMs are strongly biased (e.g, unable to recognize a fourth stripe has been added to a 3-stripe Adidas logo) scoring an average of 17.05% accuracy in counting (e.g., counting stripes in an Adidas-like logo) across 7 diverse domains from animals, logos, chess, board games, optical illusions, to patterned grids. Insert text (e.g., "Adidas") describing the subject name into the counterfactual image further decreases VLM accuracy. The biases in VLMs are so strong that instructing them to double-check their results or rely exclusively on image details to answer improves counting accuracy by only +2 points, on average. Our work presents an interesting failure mode in VLMs and an automated framework for testing VLM biases. Code and data are available at: vlmsarebiased.github.io.

Vision Language Models zijn bevooroordeeld.

Vision Language Models are Biased

Samenvatting

Support