InteractiveOmni: Un Modelo Unificado Omni-modal para Diálogo Multiturno Audio-Visual

Resumen

Presentamos InteractiveOmni, un modelo unificado y de código abierto de lenguaje multimodal de gran escala para interacción multirronda audiovisual, que abarca desde 4B hasta 8B parámetros, diseñado para liderar el campo de los modelos ligeros al ofrecer capacidades integrales de comprensión multimodal y generación de habla. Para lograrlo, integramos el codificador visual, el codificador de audio, el modelo de lenguaje de gran escala y el decodificador de habla en un modelo unificado para tareas de comprensión y generación. Diseñamos una estrategia de entrenamiento en múltiples etapas para garantizar capacidades robustas de cruce modal, incluyendo preentrenamiento para comprensión multimodal, seguido de posentrenamiento con conversación de habla e interacción audiovisual. Para habilitar una capacidad conversacional a largo plazo similar a la humana, seleccionamos meticulosamente un conjunto de datos de entrenamiento multirronda que mejora la capacidad del modelo para manejar interacciones complejas y multirronda. Para evaluar de manera efectiva las capacidades de memoria multirronda e interacción de habla, construimos el benchmark de memoria multirronda multimodal y el benchmark de interacción de habla multirronda. Los experimentos demuestran que InteractiveOmni supera significativamente a los modelos de código abierto líderes y ofrece una experiencia audiovisual multirronda más inteligente, particularmente en sus capacidades de memoria a largo plazo. Cabe destacar que InteractiveOmni-4B es comparable a modelos mucho más grandes como Qwen2.5-Omni-7B en benchmarks generales, y puede retener el 97% del rendimiento de InteractiveOmni-8B mientras utiliza solo el 50% del tamaño del modelo. Al lograr resultados de vanguardia frente a modelos de tamaño similar en tareas de comprensión de imágenes, audio, video y generación de habla, InteractiveOmni representa una base accesible y de código abierto para los sistemas interactivos inteligentes de próxima generación.

English

We introduce InteractiveOmni, a unified and open-source omni-modal large language model for audio-visual multi-turn interaction, ranging from 4B to 8B parameters, designed to lead the field of lightweight models by offering comprehensive omni-modal understanding and speech generation capabilities. To achieve this, we integrate the vision encoder, audio encoder, large language model, and speech decoder into a unified model for understanding and generation tasks. We design a multi-stage training strategy to ensure robust cross-modal capabilities, including pre-training for omni-modal understanding, followed by post-training with speech conversation and audio-visual interaction. To enable human-like long-term conversational ability, we meticulously curate a multi-turn training dataset that enhances the model's ability to handle complex and multi-turn interactions. To effectively evaluate the multi-turn memory and speech interaction capabilities, we construct the multi-modal multi-turn memory benchmark and the multi-turn speech interaction benchmark. Experiments demonstrate that InteractiveOmni significantly outperforms leading open-source models and provides a more intelligent multi-turn audio-visual experience, particularly in its long-term memory capabilities. Notably, InteractiveOmni-4B is comparable to the much larger model like Qwen2.5-Omni-7B on general benchmarks, and it can retain 97% of the performance of the InteractiveOmni-8B while utilizing only 50% of the model size. Achieving state-of-the-art results against similarly sized models across image, audio, video understanding, and speech generation tasks, InteractiveOmni is an accessible, open-source foundation for next-generation intelligent interactive systems.

InteractiveOmni: Un Modelo Unificado Omni-modal para Diálogo Multiturno Audio-Visual

InteractiveOmni: A Unified Omni-modal Model for Audio-Visual Multi-turn Dialogue

Resumen

Support