InteractiveOmni: Унифицированная омни-модальная модель для аудиовизуального многошагового диалога

Аннотация

Мы представляем InteractiveOmni — унифицированную и открытую мультимодальную большую языковую модель для аудиовизуального многозадачного взаимодействия, масштабируемую от 4 до 8 миллиардов параметров, которая призвана стать лидером в области легковесных моделей благодаря всеобъемлющему мультимодальному пониманию и возможностям генерации речи. Для достижения этой цели мы интегрируем визуальный кодировщик, аудиокодировщик, большую языковую модель и декодер речи в единую архитектуру для задач понимания и генерации. Мы разработали многоэтапную стратегию обучения, обеспечивающую устойчивые кросс-модальные способности, включая предварительное обучение для мультимодального понимания с последующим пост-обучением на данных речевых диалогов и аудиовизуального взаимодействия. Для реализации человеко-подобной способности к долгосрочным диалогам мы тщательно подготовили многозадачный обучающий набор данных, который улучшает способность модели справляться со сложными и многозадачными взаимодействиями. Для эффективной оценки многозадачной памяти и речевого взаимодействия мы создали мультимодальный бенчмарк многозадачной памяти и бенчмарк многозадачного речевого взаимодействия. Эксперименты показывают, что InteractiveOmni значительно превосходит ведущие открытые модели и обеспечивает более интеллектуальный многозадачный аудиовизуальный опыт, особенно в части долгосрочной памяти. Примечательно, что InteractiveOmni-4B сопоставима с гораздо более крупной моделью, такой как Qwen2.5-Omni-7B, на общих бенчмарках, сохраняя 97% производительности InteractiveOmni-8B при использовании лишь 50% размера модели. Достигая передовых результатов среди моделей сопоставимого размера в задачах понимания изображений, аудио, видео и генерации речи, InteractiveOmni представляет собой доступную открытую основу для интеллектуальных интерактивных систем следующего поколения.

English

We introduce InteractiveOmni, a unified and open-source omni-modal large language model for audio-visual multi-turn interaction, ranging from 4B to 8B parameters, designed to lead the field of lightweight models by offering comprehensive omni-modal understanding and speech generation capabilities. To achieve this, we integrate the vision encoder, audio encoder, large language model, and speech decoder into a unified model for understanding and generation tasks. We design a multi-stage training strategy to ensure robust cross-modal capabilities, including pre-training for omni-modal understanding, followed by post-training with speech conversation and audio-visual interaction. To enable human-like long-term conversational ability, we meticulously curate a multi-turn training dataset that enhances the model's ability to handle complex and multi-turn interactions. To effectively evaluate the multi-turn memory and speech interaction capabilities, we construct the multi-modal multi-turn memory benchmark and the multi-turn speech interaction benchmark. Experiments demonstrate that InteractiveOmni significantly outperforms leading open-source models and provides a more intelligent multi-turn audio-visual experience, particularly in its long-term memory capabilities. Notably, InteractiveOmni-4B is comparable to the much larger model like Qwen2.5-Omni-7B on general benchmarks, and it can retain 97% of the performance of the InteractiveOmni-8B while utilizing only 50% of the model size. Achieving state-of-the-art results against similarly sized models across image, audio, video understanding, and speech generation tasks, InteractiveOmni is an accessible, open-source foundation for next-generation intelligent interactive systems.

InteractiveOmni: Унифицированная омни-модальная модель для аудиовизуального многошагового диалога

InteractiveOmni: A Unified Omni-modal Model for Audio-Visual Multi-turn Dialogue

Аннотация

Support