TextHawk: Исследование эффективного детального восприятия мультимодальных крупномасштабных языковых моделей

TextHawk: Exploring Efficient Fine-Grained Perception of Multimodal Large Language Models

April 14, 2024

Авторы: Ya-Qi Yu, Minghui Liao, Jihao Wu, Yongxin Liao, Xiaoyu Zheng, Wei Zeng

cs.AI

Аннотация

Многомодельные модели на большом языке (MLLM) продемонстрировали впечатляющие результаты на различных многомодальных задачах. Однако большинство существующих MLLM плохо подходят для задач, ориентированных на документы, которые требуют точного восприятия изображений и сжатия информации. В данной статье мы представляем TextHawk, MLLM, специально разработанный для задач, ориентированных на документы, сохраняя при этом общие возможности MLLM. TextHawk направлен на исследование эффективного точного восприятия путем разработки четырех специализированных компонентов. Во-первых, предлагается модуль ReSampling and ReArrangement (ReSA) для уменьшения избыточности в текстах документов и снижения вычислительных затрат MLLM. Мы исследуем кодирование позиций каждой локальной особенности, представляя Масштабируемые Позиционные Вложения (SPE), которые могут сохранить масштабируемость различных размеров изображений. Затем принимается Сеть Предложений Запросов (QPN) для динамической инициализации запросов среди различных подизображений. Для дальнейшего улучшения точной визуальной восприимчивости MLLM мы разрабатываем механизм Многоуровневого Перекрестного Внимания (MLCA), который захватывает иерархическую структуру и семантические отношения документов. Кроме того, мы создаем новый набор данных для настройки инструкций для задач, ориентированных на документы, обогащая многомодальные данные документов с помощью Gemini Pro. Мы проводим обширные эксперименты как на общих, так и на ориентированных на документы бенчмарках MLLM и показываем, что TextHawk превосходит современные методы, демонстрируя его эффективность и превосходство в точном восприятии документов и общих способностях.

English

Multimodal Large Language Models (MLLMs) have shown impressive results on various multimodal tasks. However, most existing MLLMs are not well suited for document-oriented tasks, which require fine-grained image perception and information compression. In this paper, we present TextHawk, a MLLM that is specifically designed for document-oriented tasks, while preserving the general capabilities of MLLMs. TextHawk is aimed to explore efficient fine-grained perception by designing four dedicated components. Firstly, a ReSampling and ReArrangement (ReSA) module is proposed to reduce the redundancy in the document texts and lower the computational cost of the MLLM. We explore encoding the positions of each local feature by presenting Scalable Positional Embeddings (SPEs), which can preserve the scalability of various image sizes. A Query Proposal Network (QPN) is then adopted to initialize the queries dynamically among different sub-images. To further enhance the fine-grained visual perceptual ability of the MLLM, we design a Multi-Level Cross-Attention (MLCA) mechanism that captures the hierarchical structure and semantic relations of document images. Furthermore, we create a new instruction-tuning dataset for document-oriented tasks by enriching the multimodal document data with Gemini Pro. We conduct extensive experiments on both general and document-oriented MLLM benchmarks, and show that TextHawk outperforms the state-of-the-art methods, demonstrating its effectiveness and superiority in fine-grained document perception and general abilities.