¿Qué tan bien se adapta GPT-4V(isión) a los cambios de distribución? Una investigación preliminar

How Well Does GPT-4V(ision) Adapt to Distribution Shifts? A Preliminary Investigation

December 12, 2023

Autores: Zhongyi Han, Guanglin Zhou, Rundong He, Jindong Wang, Xing Xie, Tailin Wu, Yilong Yin, Salman Khan, Lina Yao, Tongliang Liu, Kun Zhang

cs.AI

Resumen

En el aprendizaje automático, la generalización frente a cambios de distribución —donde las condiciones de despliegue divergen de los escenarios de entrenamiento— es crucial, especialmente en campos como la modelización climática, la biomedicina y la conducción autónoma. La aparición de modelos fundacionales, caracterizados por su extenso preentrenamiento y versatilidad en tareas, ha generado un creciente interés en su adaptabilidad a cambios de distribución. GPT-4V(isión) se erige como el modelo fundacional multimodal más avanzado de acceso público, con amplias aplicaciones en diversos dominios, incluyendo detección de anomalías, comprensión de vídeos, generación de imágenes y diagnóstico médico. Sin embargo, su robustez frente a distribuciones de datos sigue siendo en gran parte inexplorada. Para abordar esta brecha, este estudio evalúa rigurosamente la adaptabilidad y capacidades de generalización de GPT-4V en entornos dinámicos, comparándolo con modelos destacados como CLIP y LLaVA. Profundizamos en la generalización zero-shot de GPT-4V a través de 13 conjuntos de datos diversos que abarcan dominios naturales, médicos y moleculares. Además, investigamos su adaptabilidad a perturbaciones controladas de datos y examinamos la eficacia del aprendizaje en contexto como herramienta para mejorar su adaptación. Nuestros hallazgos delinean los límites de capacidad de GPT-4V frente a cambios de distribución, arrojando luz sobre sus fortalezas y limitaciones en diversos escenarios. Es importante destacar que esta investigación contribuye a nuestra comprensión de cómo los modelos fundacionales de IA generalizan frente a cambios de distribución, ofreciendo insights clave sobre su adaptabilidad y robustez. El código está disponible públicamente en https://github.com/jameszhou-gl/gpt-4v-distribution-shift.

English

In machine learning, generalization against distribution shifts -- where deployment conditions diverge from the training scenarios -- is crucial, particularly in fields like climate modeling, biomedicine, and autonomous driving. The emergence of foundation models, distinguished by their extensive pretraining and task versatility, has led to an increased interest in their adaptability to distribution shifts. GPT-4V(ision) acts as the most advanced publicly accessible multimodal foundation model, with extensive applications across various domains, including anomaly detection, video understanding, image generation, and medical diagnosis. However, its robustness against data distributions remains largely underexplored. Addressing this gap, this study rigorously evaluates GPT-4V's adaptability and generalization capabilities in dynamic environments, benchmarking against prominent models like CLIP and LLaVA. We delve into GPT-4V's zero-shot generalization across 13 diverse datasets spanning natural, medical, and molecular domains. We further investigate its adaptability to controlled data perturbations and examine the efficacy of in-context learning as a tool to enhance its adaptation. Our findings delineate GPT-4V's capability boundaries in distribution shifts, shedding light on its strengths and limitations across various scenarios. Importantly, this investigation contributes to our understanding of how AI foundation models generalize to distribution shifts, offering pivotal insights into their adaptability and robustness. Code is publicly available at https://github.com/jameszhou-gl/gpt-4v-distribution-shift.