Quanto Bene si Adatta GPT-4V(ision) ai Cambiamenti di Distribuzione? Un'Indagine Preliminare

Abstract

Nel campo dell'apprendimento automatico, la generalizzazione rispetto agli spostamenti di distribuzione — in cui le condizioni di utilizzo divergono dagli scenari di addestramento — è cruciale, specialmente in settori come la modellazione climatica, la biomedicina e la guida autonoma. L'emergere di modelli di base, caratterizzati da un ampio pre-addestramento e versatilità nei compiti, ha suscitato un crescente interesse per la loro adattabilità agli spostamenti di distribuzione. GPT-4V(ision) rappresenta il modello di base multimodale più avanzato pubblicamente accessibile, con applicazioni estese in vari ambiti, tra cui il rilevamento di anomalie, la comprensione video, la generazione di immagini e la diagnosi medica. Tuttavia, la sua robustezza rispetto alle distribuzioni di dati rimane in gran parte inesplorata. Colmando questa lacuna, questo studio valuta rigorosamente l'adattabilità e le capacità di generalizzazione di GPT-4V in ambienti dinamici, confrontandolo con modelli di rilievo come CLIP e LLaVA. Esploriamo la generalizzazione zero-shot di GPT-4V su 13 dataset diversi che spaziano dai domini naturali a quelli medici e molecolari. Inoltre, indaghiamo la sua adattabilità a perturbazioni controllate dei dati ed esaminiamo l'efficacia dell'apprendimento in contesto come strumento per migliorare la sua adattabilità. I nostri risultati delineano i limiti delle capacità di GPT-4V negli spostamenti di distribuzione, evidenziandone punti di forza e limitazioni in vari scenari. In modo significativo, questa indagine contribuisce alla nostra comprensione di come i modelli di base dell'IA generalizzano gli spostamenti di distribuzione, offrendo intuizioni fondamentali sulla loro adattabilità e robustezza. Il codice è disponibile pubblicamente all'indirizzo https://github.com/jameszhou-gl/gpt-4v-distribution-shift.

English

In machine learning, generalization against distribution shifts -- where deployment conditions diverge from the training scenarios -- is crucial, particularly in fields like climate modeling, biomedicine, and autonomous driving. The emergence of foundation models, distinguished by their extensive pretraining and task versatility, has led to an increased interest in their adaptability to distribution shifts. GPT-4V(ision) acts as the most advanced publicly accessible multimodal foundation model, with extensive applications across various domains, including anomaly detection, video understanding, image generation, and medical diagnosis. However, its robustness against data distributions remains largely underexplored. Addressing this gap, this study rigorously evaluates GPT-4V's adaptability and generalization capabilities in dynamic environments, benchmarking against prominent models like CLIP and LLaVA. We delve into GPT-4V's zero-shot generalization across 13 diverse datasets spanning natural, medical, and molecular domains. We further investigate its adaptability to controlled data perturbations and examine the efficacy of in-context learning as a tool to enhance its adaptation. Our findings delineate GPT-4V's capability boundaries in distribution shifts, shedding light on its strengths and limitations across various scenarios. Importantly, this investigation contributes to our understanding of how AI foundation models generalize to distribution shifts, offering pivotal insights into their adaptability and robustness. Code is publicly available at https://github.com/jameszhou-gl/gpt-4v-distribution-shift.

Quanto Bene si Adatta GPT-4V(ision) ai Cambiamenti di Distribuzione? Un'Indagine Preliminare

How Well Does GPT-4V(ision) Adapt to Distribution Shifts? A Preliminary Investigation

Abstract

Support