Generación Estructurada Multimodal: Informe Técnico del 2º Desafío MMFM de CVPR

Multimodal Structured Generation: CVPR's 2nd MMFM Challenge Technical Report

June 17, 2024

Autores: Franz Louis Cesista

cs.AI

Resumen

Los Modelos Fundacionales Multimodales (MMFMs, por sus siglas en inglés) han demostrado un rendimiento notable en diversas tareas de visión por computadora y procesamiento del lenguaje natural. Sin embargo, su desempeño en tareas específicas, como la comprensión de documentos, sigue siendo limitado. Además, requieren más recursos computacionales, tiempo y esfuerzo de ingeniería para ajustar y desplegar en comparación con los modelos unimodales tradicionales. En este informe, presentamos la Generación Estructurada Multimodal, un marco general que restringe los logits de salida de los MMFMs congelados para obligarlos a razonar antes de responder con salidas estructuradas que las APIs posteriores puedan analizar y utilizar. Ofrecemos una descripción detallada de nuestro enfoque, incluyendo los detalles técnicos, discusiones teóricas y los resultados finales de evaluación en el 2º Desafío de Modelos Fundacionales Multimodales organizado por la conferencia de Visión por Computadora y Reconocimiento de Patrones (CVPR). Nuestro enfoque obtuvo el segundo puntaje más alto en el conjunto de pruebas ocultas para la Fase 2 y el tercer puntaje más alto en general. Esto demuestra la capacidad del método para generalizar en tareas no vistas. Además, confirma que la ingeniería simple puede superar pasos de modelado costosos y complicados, como discutimos inicialmente en nuestro artículo, Generación Estructurada Aumentada por Recuperación: Extracción de Información de Documentos Comerciales como Uso de Herramientas. Todos nuestros scripts, pasos de despliegue y resultados de evaluación están disponibles en https://github.com/leloykun/MMFM-Challenge.

English

Multimodal Foundation Models (MMFMs) have shown remarkable performance on various computer vision and natural language processing tasks. However, their performance on particular tasks such as document understanding is still limited. They also require more compute, time, and engineering resources to finetune and deploy compared to traditional, unimodal models. In this report, we present Multimodal Structured Generation, a general framework which constrains the output logits of frozen MMFMs to force them to reason before responding with structured outputs that downstream APIs can parse and use. We provide a detailed account of our approach, including the technical details, theoretical discussions, and final evaluation results in the 2nd Multimodal Foundation Models Challenge hosted by the Computer Vision and Pattern Recognition (CVPR) conference. Our approach achieved the second highest score in the hidden test set for Phase 2 and third highest overall. This shows the method's ability to generalize to unseen tasks. And that simple engineering can beat expensive & complicated modelling steps as we first discussed in our paper, Retrieval Augmented Structured Generation: Business Document Information Extraction as Tool Use. All of our scripts, deployment steps, and evaluation results can be accessed in https://github.com/leloykun/MMFM-Challenge