OpenFlamingo: Een Open-Source Framework voor het Trainen van Grote Autoregressieve Visie-Taalmodellen

OpenFlamingo: An Open-Source Framework for Training Large Autoregressive Vision-Language Models

August 2, 2023

Auteurs: Anas Awadalla, Irena Gao, Josh Gardner, Jack Hessel, Yusuf Hanafy, Wanrong Zhu, Kalyani Marathe, Yonatan Bitton, Samir Gadre, Shiori Sagawa, Jenia Jitsev, Simon Kornblith, Pang Wei Koh, Gabriel Ilharco, Mitchell Wortsman, Ludwig Schmidt

cs.AI

Samenvatting

We introduceren OpenFlamingo, een familie van autoregressieve visueel-taalmodel- len variërend van 3B tot 9B parameters. OpenFlamingo is een doorlopende inspanning om een open-source replicatie te produceren van DeepMind's Flamingo-modellen. Op zeven visueel-taal datasets behalen OpenFlamingo-modellen gemiddeld tussen de 80 - 89% van de corresponderende Flamingo-prestaties. Dit technische rapport beschrijft onze modellen, trainingsdata, hyperparameters en evaluatiesuite. We delen onze modellen en code op https://github.com/mlfoundations/open_flamingo.

English

We introduce OpenFlamingo, a family of autoregressive vision-language models ranging from 3B to 9B parameters. OpenFlamingo is an ongoing effort to produce an open-source replication of DeepMind's Flamingo models. On seven vision-language datasets, OpenFlamingo models average between 80 - 89% of corresponding Flamingo performance. This technical report describes our models, training data, hyperparameters, and evaluation suite. We share our models and code at https://github.com/mlfoundations/open_flamingo.