GPT-4V(ision)는 분포 변화에 얼마나 잘 적응하는가? 예비 조사

초록

머신러닝에서, 훈련 시나리오와 배포 조건이 달라지는 분포 변화에 대한 일반화는 기후 모델링, 생물의학, 자율 주행과 같은 분야에서 특히 중요합니다. 광범위한 사전 훈련과 작업 다양성으로 구별되는 파운데이션 모델의 등장은 이러한 모델들이 분포 변화에 적응할 수 있는 능력에 대한 관심을 증가시켰습니다. GPT-4V(ision)는 가장 진보된 공개적으로 접근 가능한 멀티모달 파운데이션 모델로, 이상 탐지, 비디오 이해, 이미지 생성, 의료 진단 등 다양한 영역에서 광범위하게 응용되고 있습니다. 그러나 데이터 분포에 대한 강건성은 아직 충분히 탐구되지 않았습니다. 이러한 격차를 해소하기 위해, 본 연구는 GPT-4V의 동적 환경에서의 적응성과 일반화 능력을 엄격히 평가하며, CLIP 및 LLaVA와 같은 주요 모델들과 비교합니다. 우리는 자연, 의료, 분자 영역에 걸친 13개의 다양한 데이터셋에서 GPT-4V의 제로샷 일반화를 심층적으로 탐구합니다. 또한, 통제된 데이터 변동에 대한 적응성을 조사하고, 적응을 강화하기 위한 도구로서의 컨텍스트 내 학습의 효율성을 검토합니다. 우리의 연구 결과는 GPT-4V의 분포 변화에서의 능력 한계를 명확히 하며, 다양한 시나리오에서의 강점과 한계를 밝힙니다. 특히, 이 연구는 AI 파운데이션 모델이 분포 변화에 어떻게 일반화하는지에 대한 이해를 높이고, 그들의 적응성과 강건성에 대한 중요한 통찰을 제공합니다. 코드는 https://github.com/jameszhou-gl/gpt-4v-distribution-shift에서 공개되어 있습니다.

English

In machine learning, generalization against distribution shifts -- where deployment conditions diverge from the training scenarios -- is crucial, particularly in fields like climate modeling, biomedicine, and autonomous driving. The emergence of foundation models, distinguished by their extensive pretraining and task versatility, has led to an increased interest in their adaptability to distribution shifts. GPT-4V(ision) acts as the most advanced publicly accessible multimodal foundation model, with extensive applications across various domains, including anomaly detection, video understanding, image generation, and medical diagnosis. However, its robustness against data distributions remains largely underexplored. Addressing this gap, this study rigorously evaluates GPT-4V's adaptability and generalization capabilities in dynamic environments, benchmarking against prominent models like CLIP and LLaVA. We delve into GPT-4V's zero-shot generalization across 13 diverse datasets spanning natural, medical, and molecular domains. We further investigate its adaptability to controlled data perturbations and examine the efficacy of in-context learning as a tool to enhance its adaptation. Our findings delineate GPT-4V's capability boundaries in distribution shifts, shedding light on its strengths and limitations across various scenarios. Importantly, this investigation contributes to our understanding of how AI foundation models generalize to distribution shifts, offering pivotal insights into their adaptability and robustness. Code is publicly available at https://github.com/jameszhou-gl/gpt-4v-distribution-shift.

GPT-4V(ision)는 분포 변화에 얼마나 잘 적응하는가? 예비 조사

How Well Does GPT-4V(ision) Adapt to Distribution Shifts? A Preliminary Investigation

초록

Support