Generazione Strutturata Multimodale: Rapporto Tecnico della 2a Sfida MMFM di CVPR

Multimodal Structured Generation: CVPR's 2nd MMFM Challenge Technical Report

June 17, 2024

Autori: Franz Louis Cesista

cs.AI

Abstract

I Modelli Fondamentali Multimodali (MMFM) hanno dimostrato prestazioni notevoli in vari compiti di visione artificiale ed elaborazione del linguaggio naturale. Tuttavia, le loro prestazioni su compiti specifici come la comprensione dei documenti sono ancora limitate. Inoltre, richiedono maggiori risorse computazionali, temporali e ingegneristiche per il fine-tuning e il deployment rispetto ai tradizionali modelli unimodali. In questo report, presentiamo la Generazione Strutturata Multimodale, un framework generale che vincola i logit di output dei MMFM congelati per costringerli a ragionare prima di rispondere con output strutturati che le API downstream possono analizzare e utilizzare. Forniamo un resoconto dettagliato del nostro approccio, inclusi i dettagli tecnici, le discussioni teoriche e i risultati finali di valutazione nella 2a Sfida sui Modelli Fondamentali Multimodali ospitata dalla conferenza Computer Vision and Pattern Recognition (CVPR). Il nostro approccio ha ottenuto il secondo punteggio più alto nel test set nascosto per la Fase 2 e il terzo più alto in assoluto. Ciò dimostra la capacità del metodo di generalizzare su compiti non visti. E che una semplice ingegneria può superare passaggi di modellazione costosi e complicati, come abbiamo discusso per la prima volta nel nostro articolo, Retrieval Augmented Structured Generation: Business Document Information Extraction as Tool Use. Tutti i nostri script, passaggi di deployment e risultati di valutazione sono accessibili su https://github.com/leloykun/MMFM-Challenge.

English

Multimodal Foundation Models (MMFMs) have shown remarkable performance on various computer vision and natural language processing tasks. However, their performance on particular tasks such as document understanding is still limited. They also require more compute, time, and engineering resources to finetune and deploy compared to traditional, unimodal models. In this report, we present Multimodal Structured Generation, a general framework which constrains the output logits of frozen MMFMs to force them to reason before responding with structured outputs that downstream APIs can parse and use. We provide a detailed account of our approach, including the technical details, theoretical discussions, and final evaluation results in the 2nd Multimodal Foundation Models Challenge hosted by the Computer Vision and Pattern Recognition (CVPR) conference. Our approach achieved the second highest score in the hidden test set for Phase 2 and third highest overall. This shows the method's ability to generalize to unseen tasks. And that simple engineering can beat expensive & complicated modelling steps as we first discussed in our paper, Retrieval Augmented Structured Generation: Business Document Information Extraction as Tool Use. All of our scripts, deployment steps, and evaluation results can be accessed in https://github.com/leloykun/MMFM-Challenge