Multimodale Gestructureerde Generatie: Technisch Rapport van de 2e MMFM Challenge van CVPR
Multimodal Structured Generation: CVPR's 2nd MMFM Challenge Technical Report
June 17, 2024
Auteurs: Franz Louis Cesista
cs.AI
Samenvatting
Multimodale Foundation Models (MMFM's) hebben opmerkelijke prestaties getoond bij diverse taken op het gebied van computer vision en natuurlijke taalverwerking. Hun prestaties op specifieke taken, zoals documentbegrip, blijven echter beperkt. Bovendien vereisen ze meer rekenkracht, tijd en technische middelen om te finetunen en te implementeren in vergelijking met traditionele, unimodale modellen. In dit rapport presenteren we Multimodale Gestructureerde Generatie, een algemeen framework dat de uitvoerlogits van bevroren MMFM's beperkt om ze te dwingen te redeneren voordat ze gestructureerde uitvoer genereren die downstream API's kunnen parsen en gebruiken. We geven een gedetailleerd verslag van onze aanpak, inclusief de technische details, theoretische discussies en de uiteindelijke evaluatieresultaten in de 2e Multimodale Foundation Models Challenge, georganiseerd door de Computer Vision and Pattern Recognition (CVPR) conferentie. Onze aanpak behaalde de op één na hoogste score in de verborgen testset voor Fase 2 en de op twee na hoogste score overall. Dit toont het vermogen van de methode om te generaliseren naar onbekende taken. En dat eenvoudige technische aanpassingen dure en ingewikkelde modelleringsstappen kunnen overtreffen, zoals we eerder bespraken in ons paper, Retrieval Augmented Structured Generation: Business Document Information Extraction as Tool Use. Al onze scripts, implementatiestappen en evaluatieresultaten zijn beschikbaar op https://github.com/leloykun/MMFM-Challenge.
English
Multimodal Foundation Models (MMFMs) have shown remarkable performance on
various computer vision and natural language processing tasks. However, their
performance on particular tasks such as document understanding is still
limited. They also require more compute, time, and engineering resources to
finetune and deploy compared to traditional, unimodal models. In this report,
we present Multimodal Structured Generation, a general framework which
constrains the output logits of frozen MMFMs to force them to reason before
responding with structured outputs that downstream APIs can parse and use. We
provide a detailed account of our approach, including the technical details,
theoretical discussions, and final evaluation results in the 2nd Multimodal
Foundation Models Challenge hosted by the Computer Vision and Pattern
Recognition (CVPR) conference. Our approach achieved the second highest score
in the hidden test set for Phase 2 and third highest overall. This shows the
method's ability to generalize to unseen tasks. And that simple engineering can
beat expensive & complicated modelling steps as we first discussed in our
paper, Retrieval Augmented Structured Generation: Business Document Information
Extraction as Tool Use. All of our scripts, deployment steps, and evaluation
results can be accessed in https://github.com/leloykun/MMFM-Challenge