OpenFlamingo: Un Framework Open-Source per l'Addestramento di Grandi Modelli Autoregressivi Visione-Linguaggio

OpenFlamingo: An Open-Source Framework for Training Large Autoregressive Vision-Language Models

August 2, 2023

Autori: Anas Awadalla, Irena Gao, Josh Gardner, Jack Hessel, Yusuf Hanafy, Wanrong Zhu, Kalyani Marathe, Yonatan Bitton, Samir Gadre, Shiori Sagawa, Jenia Jitsev, Simon Kornblith, Pang Wei Koh, Gabriel Ilharco, Mitchell Wortsman, Ludwig Schmidt

cs.AI

Abstract

Presentiamo OpenFlamingo, una famiglia di modelli autoregressivi visione-linguaggio con parametri che vanno da 3B a 9B. OpenFlamingo rappresenta uno sforzo continuo per realizzare una replica open-source dei modelli Flamingo di DeepMind. Su sette dataset visione-linguaggio, i modelli OpenFlamingo raggiungono in media tra l'80% e l'89% delle prestazioni dei corrispondenti modelli Flamingo. Questo rapporto tecnico descrive i nostri modelli, i dati di addestramento, gli iperparametri e la suite di valutazione. Condividiamo i nostri modelli e il codice all'indirizzo https://github.com/mlfoundations/open_flamingo.

English

We introduce OpenFlamingo, a family of autoregressive vision-language models ranging from 3B to 9B parameters. OpenFlamingo is an ongoing effort to produce an open-source replication of DeepMind's Flamingo models. On seven vision-language datasets, OpenFlamingo models average between 80 - 89% of corresponding Flamingo performance. This technical report describes our models, training data, hyperparameters, and evaluation suite. We share our models and code at https://github.com/mlfoundations/open_flamingo.