OpenFlamingo: Un Marco de Código Abierto para Entrenar Modelos Autoregresivos a Gran Escala de Visión y Lenguaje

OpenFlamingo: An Open-Source Framework for Training Large Autoregressive Vision-Language Models

August 2, 2023

Autores: Anas Awadalla, Irena Gao, Josh Gardner, Jack Hessel, Yusuf Hanafy, Wanrong Zhu, Kalyani Marathe, Yonatan Bitton, Samir Gadre, Shiori Sagawa, Jenia Jitsev, Simon Kornblith, Pang Wei Koh, Gabriel Ilharco, Mitchell Wortsman, Ludwig Schmidt

cs.AI

Resumen

Presentamos OpenFlamingo, una familia de modelos autoregresivos de visión y lenguaje que abarcan desde 3B hasta 9B parámetros. OpenFlamingo es un esfuerzo continuo para producir una réplica de código abierto de los modelos Flamingo de DeepMind. En siete conjuntos de datos de visión y lenguaje, los modelos OpenFlamingo alcanzan en promedio entre el 80% y el 89% del rendimiento correspondiente de Flamingo. Este informe técnico describe nuestros modelos, datos de entrenamiento, hiperparámetros y conjunto de evaluación. Compartimos nuestros modelos y código en https://github.com/mlfoundations/open_flamingo.

English

We introduce OpenFlamingo, a family of autoregressive vision-language models ranging from 3B to 9B parameters. OpenFlamingo is an ongoing effort to produce an open-source replication of DeepMind's Flamingo models. On seven vision-language datasets, OpenFlamingo models average between 80 - 89% of corresponding Flamingo performance. This technical report describes our models, training data, hyperparameters, and evaluation suite. We share our models and code at https://github.com/mlfoundations/open_flamingo.