Мультимодальная структурированная генерация: технический отчет о втором челлендже MMFM конференции CVPR.

Multimodal Structured Generation: CVPR's 2nd MMFM Challenge Technical Report

June 17, 2024

Авторы: Franz Louis Cesista

cs.AI

Аннотация

Модели мультимодальных основ (MMFMs) продемонстрировали выдающуюся производительность на различных задачах компьютерного зрения и обработки естественного языка. Однако их производительность на конкретных задачах, таких как понимание документов, все еще ограничена. Кроме того, для их настройки и развертывания требуется больше вычислительных ресурсов, времени и инженерных ресурсов по сравнению с традиционными унимодальными моделями. В данном отчете мы представляем Мультимодальную Структурированную Генерацию, общую структуру, которая ограничивает выходные логиты замороженных MMFMs, заставляя их рассуждать перед выдачей структурированных результатов, которые могут быть обработаны и использованы последующими API. Мы предоставляем подробное описание нашего подхода, включая технические детали, теоретические обсуждения и окончательные результаты оценки во 2-м челлендже по моделям мультимодальных основ, проведенном на конференции по компьютерному зрению и распознаванию образов (CVPR). Наш подход достиг второго наивысшего балла в скрытом тестовом наборе для Фазы 2 и третьего наивысшего в общем рейтинге. Это показывает способность метода обобщаться на невидимые задачи. И что простая инженерия может превзойти дорогостоящие и сложные шаги моделирования, как мы обсуждали в нашей статье "Структурированная Генерация с Использованием Поиска: Извлечение Информации из Деловых Документов как Инструмент Использования". Все наши скрипты, шаги развертывания и результаты оценки доступны по ссылке https://github.com/leloykun/MMFM-Challenge

English

Multimodal Foundation Models (MMFMs) have shown remarkable performance on various computer vision and natural language processing tasks. However, their performance on particular tasks such as document understanding is still limited. They also require more compute, time, and engineering resources to finetune and deploy compared to traditional, unimodal models. In this report, we present Multimodal Structured Generation, a general framework which constrains the output logits of frozen MMFMs to force them to reason before responding with structured outputs that downstream APIs can parse and use. We provide a detailed account of our approach, including the technical details, theoretical discussions, and final evaluation results in the 2nd Multimodal Foundation Models Challenge hosted by the Computer Vision and Pattern Recognition (CVPR) conference. Our approach achieved the second highest score in the hidden test set for Phase 2 and third highest overall. This shows the method's ability to generalize to unseen tasks. And that simple engineering can beat expensive & complicated modelling steps as we first discussed in our paper, Retrieval Augmented Structured Generation: Business Document Information Extraction as Tool Use. All of our scripts, deployment steps, and evaluation results can be accessed in https://github.com/leloykun/MMFM-Challenge