Macaw-LLM: Мультимодальное языковое моделирование с интеграцией изображений, аудио, видео и текста
Macaw-LLM: Multi-Modal Language Modeling with Image, Audio, Video, and Text Integration
June 15, 2023
Авторы: Chenyang Lyu, Minghao Wu, Longyue Wang, Xinting Huang, Bingshuai Liu, Zefeng Du, Shuming Shi, Zhaopeng Tu
cs.AI
Аннотация
Хотя крупные языковые модели (LLM), настроенные на инструкции, продемонстрировали впечатляющие возможности в различных задачах обработки естественного языка (NLP), их эффективность на других модальностях данных, помимо текста, изучена не полностью. В данной работе мы представляем Macaw-LLM — новую мультимодальную LLM, которая бесшовно интегрирует визуальную, аудио и текстовую информацию. Macaw-LLM состоит из трех основных компонентов: модуля модальности для кодирования мультимодальных данных, когнитивного модуля для использования предобученных LLM и модуля согласования для гармонизации разнородных представлений. Наш инновационный модуль согласования эффективно связывает мультимодальные признаки с текстовыми, упрощая процесс адаптации от модулей модальности к когнитивному модулю. Кроме того, мы создали крупномасштабный мультимодальный набор данных с инструкциями в формате многоходового диалога, включающий 69 тыс. изображений и 50 тыс. видео. Мы сделали наши данные, код и модель общедоступными, надеясь, что это проложит путь для будущих исследований в области мультимодальных LLM и расширит возможности LLM для работы с разнообразными модальностями данных и решения сложных реальных задач.
English
Although instruction-tuned large language models (LLMs) have exhibited
remarkable capabilities across various NLP tasks, their effectiveness on other
data modalities beyond text has not been fully studied. In this work, we
propose Macaw-LLM, a novel multi-modal LLM that seamlessly integrates visual,
audio, and textual information. Macaw-LLM consists of three main components: a
modality module for encoding multi-modal data, a cognitive module for
harnessing pretrained LLMs, and an alignment module for harmonizing diverse
representations. Our novel alignment module seamlessly bridges multi-modal
features to textual features, simplifying the adaptation process from the
modality modules to the cognitive module. In addition, we construct a
large-scale multi-modal instruction dataset in terms of multi-turn dialogue,
including 69K image instances and 50K video instances. We have made our data,
code and model publicly available, which we hope can pave the way for future
research in multi-modal LLMs and expand the capabilities of LLMs to handle
diverse data modalities and address complex real-world scenarios.