Multimodale strukturierte Generierung: Technischer Bericht zur 2. MMFM-Herausforderung der CVPR

Multimodal Structured Generation: CVPR's 2nd MMFM Challenge Technical Report

June 17, 2024

Autoren: Franz Louis Cesista

cs.AI

Zusammenfassung

Multimodale Grundlagenmodelle (MMFMs) haben eine bemerkenswerte Leistung bei verschiedenen Computer Vision und Natural Language Processing Aufgaben gezeigt. Ihre Leistungsfähigkeit bei bestimmten Aufgaben wie der Dokumentenverarbeitung ist jedoch noch begrenzt. Zudem erfordern sie mehr Rechenleistung, Zeit und technische Ressourcen für die Feinabstimmung und Bereitstellung im Vergleich zu traditionellen, unimodalen Modellen. In diesem Bericht stellen wir Multimodale Strukturierte Generierung vor, ein allgemeines Rahmenwerk, das die Ausgabelogits eingefrorener MMFMs einschränkt, um sie zu zwingen, vor der Antwort mit strukturierten Ausgaben zu argumentieren, die nachgelagerte APIs analysieren und verwenden können. Wir bieten einen detaillierten Bericht über unseren Ansatz, einschließlich der technischen Details, theoretischen Diskussionen und abschließenden Evaluierungsergebnisse im 2. Multimodale Grundlagenmodelle Challenge, veranstaltet von der Computer Vision and Pattern Recognition (CVPR) Konferenz. Unser Ansatz erzielte den zweithöchsten Score im versteckten Testset für Phase 2 und den dritthöchsten insgesamt. Dies zeigt die Fähigkeit der Methode, sich auf unbekannte Aufgaben zu verallgemeinern. Und dass einfache technische Lösungen teure und komplizierte Modellierungsschritte schlagen können, wie wir zuerst in unserem Paper "Retrieval Augmented Structured Generation: Business Document Information Extraction as Tool Use" diskutiert haben. Alle unsere Skripte, Bereitstellungsschritte und Evaluierungsergebnisse sind unter https://github.com/leloykun/MMFM-Challenge abrufbar.

English

Multimodal Foundation Models (MMFMs) have shown remarkable performance on various computer vision and natural language processing tasks. However, their performance on particular tasks such as document understanding is still limited. They also require more compute, time, and engineering resources to finetune and deploy compared to traditional, unimodal models. In this report, we present Multimodal Structured Generation, a general framework which constrains the output logits of frozen MMFMs to force them to reason before responding with structured outputs that downstream APIs can parse and use. We provide a detailed account of our approach, including the technical details, theoretical discussions, and final evaluation results in the 2nd Multimodal Foundation Models Challenge hosted by the Computer Vision and Pattern Recognition (CVPR) conference. Our approach achieved the second highest score in the hidden test set for Phase 2 and third highest overall. This shows the method's ability to generalize to unseen tasks. And that simple engineering can beat expensive & complicated modelling steps as we first discussed in our paper, Retrieval Augmented Structured Generation: Business Document Information Extraction as Tool Use. All of our scripts, deployment steps, and evaluation results can be accessed in https://github.com/leloykun/MMFM-Challenge