Geração Estruturada Multimodal: Relatório Técnico do 2º Desafio MMFM da CVPR

Multimodal Structured Generation: CVPR's 2nd MMFM Challenge Technical Report

June 17, 2024

Autores: Franz Louis Cesista

cs.AI

Resumo

Os Modelos de Fundação Multimodais (MMFMs) têm demonstrado um desempenho notável em várias tarefas de visão computacional e processamento de linguagem natural. No entanto, seu desempenho em tarefas específicas, como compreensão de documentos, ainda é limitado. Eles também exigem mais recursos computacionais, tempo e engenharia para ajuste fino e implementação em comparação com modelos tradicionais unimodais. Neste relatório, apresentamos Geração Estruturada Multimodal, um framework geral que restringe os logitos de saída dos MMFMs congelados para forçá-los a raciocinar antes de responder com saídas estruturadas que APIs subsequentes podem analisar e utilizar. Fornecemos um relato detalhado de nossa abordagem, incluindo os detalhes técnicos, discussões teóricas e resultados finais de avaliação no 2º Desafio de Modelos de Fundação Multimodal hospedado pela conferência Computer Vision and Pattern Recognition (CVPR). Nossa abordagem alcançou a segunda maior pontuação no conjunto de testes oculto para a Fase 2 e a terceira maior pontuação geral. Isso demonstra a capacidade do método de generalizar para tarefas não vistas. E que uma engenharia simples pode superar etapas de modelagem caras e complicadas, como discutimos em nosso artigo, Geração Estruturada com Recuperação Aumentada: Extração de Informações de Documentos Empresariais como Uso de Ferramenta. Todos os nossos scripts, etapas de implementação e resultados de avaliação podem ser acessados em https://github.com/leloykun/MMFM-Challenge.

English

Multimodal Foundation Models (MMFMs) have shown remarkable performance on various computer vision and natural language processing tasks. However, their performance on particular tasks such as document understanding is still limited. They also require more compute, time, and engineering resources to finetune and deploy compared to traditional, unimodal models. In this report, we present Multimodal Structured Generation, a general framework which constrains the output logits of frozen MMFMs to force them to reason before responding with structured outputs that downstream APIs can parse and use. We provide a detailed account of our approach, including the technical details, theoretical discussions, and final evaluation results in the 2nd Multimodal Foundation Models Challenge hosted by the Computer Vision and Pattern Recognition (CVPR) conference. Our approach achieved the second highest score in the hidden test set for Phase 2 and third highest overall. This shows the method's ability to generalize to unseen tasks. And that simple engineering can beat expensive & complicated modelling steps as we first discussed in our paper, Retrieval Augmented Structured Generation: Business Document Information Extraction as Tool Use. All of our scripts, deployment steps, and evaluation results can be accessed in https://github.com/leloykun/MMFM-Challenge