Hoe goed past GPT-4V(ision) zich aan aan distributieverschuivingen? Een voorlopig onderzoek

Samenvatting

In machine learning is generalisatie tegen distributieverschuivingen -- waarbij implementatieomstandigheden afwijken van de trainingsscenario's -- cruciaal, met name in domeinen zoals klimaatmodellering, biomedische wetenschappen en autonoom rijden. De opkomst van foundation models, gekenmerkt door hun uitgebreide voorafgaande training en veelzijdigheid in taken, heeft geleid tot een groeiende interesse in hun aanpassingsvermogen aan distributieverschuivingen. GPT-4V(ision) fungeert als het meest geavanceerde publiek toegankelijke multimodale foundation model, met brede toepassingen in diverse domeinen, waaronder anomaliedetectie, videobegrip, beeldgeneratie en medische diagnose. Echter, de robuustheid tegenover datadistributies blijft grotendeels onontgonnen. Om deze leemte aan te pakken, evalueert deze studie grondig het aanpassings- en generalisatievermogen van GPT-4V in dynamische omgevingen, waarbij het benchmarkt tegen prominente modellen zoals CLIP en LLaVA. We verdiepen ons in de zero-shot generalisatie van GPT-4V over 13 diverse datasets die natuurlijke, medische en moleculaire domeinen beslaan. We onderzoeken verder het aanpassingsvermogen aan gecontroleerde dataperturbaties en onderzoeken de effectiviteit van in-context learning als een hulpmiddel om de aanpassing te verbeteren. Onze bevindingen schetsen de grenzen van GPT-4V's mogelijkheden bij distributieverschuivingen, waarbij de sterke en zwakke punten in verschillende scenario's worden belicht. Belangrijk is dat dit onderzoek bijdraagt aan ons begrip van hoe AI foundation models generaliseren naar distributieverschuivingen, en biedt cruciale inzichten in hun aanpassingsvermogen en robuustheid. Code is publiekelijk beschikbaar op https://github.com/jameszhou-gl/gpt-4v-distribution-shift.

English

In machine learning, generalization against distribution shifts -- where deployment conditions diverge from the training scenarios -- is crucial, particularly in fields like climate modeling, biomedicine, and autonomous driving. The emergence of foundation models, distinguished by their extensive pretraining and task versatility, has led to an increased interest in their adaptability to distribution shifts. GPT-4V(ision) acts as the most advanced publicly accessible multimodal foundation model, with extensive applications across various domains, including anomaly detection, video understanding, image generation, and medical diagnosis. However, its robustness against data distributions remains largely underexplored. Addressing this gap, this study rigorously evaluates GPT-4V's adaptability and generalization capabilities in dynamic environments, benchmarking against prominent models like CLIP and LLaVA. We delve into GPT-4V's zero-shot generalization across 13 diverse datasets spanning natural, medical, and molecular domains. We further investigate its adaptability to controlled data perturbations and examine the efficacy of in-context learning as a tool to enhance its adaptation. Our findings delineate GPT-4V's capability boundaries in distribution shifts, shedding light on its strengths and limitations across various scenarios. Importantly, this investigation contributes to our understanding of how AI foundation models generalize to distribution shifts, offering pivotal insights into their adaptability and robustness. Code is publicly available at https://github.com/jameszhou-gl/gpt-4v-distribution-shift.

Hoe goed past GPT-4V(ision) zich aan aan distributieverschuivingen? Een voorlopig onderzoek

How Well Does GPT-4V(ision) Adapt to Distribution Shifts? A Preliminary Investigation

Samenvatting

Support