R1-Omni: 強化学習を用いた説明可能なオムニマルチモーダル感情認識

R1-Omni: Explainable Omni-Multimodal Emotion Recognition with Reinforcing Learning

March 7, 2025

著者: Jiaxing Zhao, Xihan Wei, Liefeng Bo

cs.AI

要旨

本研究では、感情認識という視覚と音声の両モダリティが重要な役割を果たすタスクにおいて、検証可能な報酬を用いた強化学習（RLVR）をオムニマルチモーダル大規模言語モデルに初めて適用した。RLVRを活用してオムニモデルを最適化し、推論能力、感情認識精度、一般化能力の3つの主要な側面で大幅な性能向上を実現した。RLVRの導入は、モデルの分布内データに対する全体的な性能を向上させるだけでなく、分布外データセットでの評価においても優れたロバスト性を示した。さらに重要なことに、推論能力の向上により、特に視覚情報と音声情報といった異なるモダリティが感情認識プロセスにどのように寄与するかを明確に分析することが可能となった。これは、マルチモーダル大規模言語モデルの最適化に関する貴重な知見を提供するものである。

English

In this work, we present the first application of Reinforcement Learning with Verifiable Reward (RLVR) to an Omni-multimodal large language model in the context of emotion recognition, a task where both visual and audio modalities play crucial roles. We leverage RLVR to optimize the Omni model, significantly enhancing its performance in three key aspects: reasoning capability, emotion recognition accuracy, and generalization ability. The introduction of RLVR not only improves the model's overall performance on in-distribution data but also demonstrates superior robustness when evaluated on out-of-distribution datasets. More importantly, the improved reasoning capability enables clear analysis of the contributions of different modalities, particularly visual and audio information, in the emotion recognition process. This provides valuable insights into the optimization of multimodal large language models.