Compréhension vs Génération : Naviguer dans le dilemme d'optimisation des modèles multimodaux
Understanding vs. Generation: Navigating Optimization Dilemma in Multimodal Models
February 17, 2026
papers.authors: Sen Ye, Mengde Xu, Shuyang Gu, Di He, Liwei Wang, Han Hu
cs.AI
papers.abstract
Les recherches actuelles sur les modèles multimodaux rencontrent un défi majeur : l'amélioration des capacités génératives se fait souvent au détriment de la compréhension, et inversement. Nous avons analysé ce compromis et identifié que la cause principale réside dans le conflit potentiel entre génération et compréhension, créant une dynamique compétitive au sein du modèle. Pour y remédier, nous proposons le cadre Reason-Reflect-Refine (R3). Cet algorithme innovant transforme la tâche de génération en une étape unique en un processus multi-étapes de "générer-comprendre-regénérer". En exploitant explicitement la capacité de compréhension du modèle pendant la génération, nous atténuons efficacement le dilemme d'optimisation, obtenant ainsi de meilleurs résultats génératifs et une capacité de compréhension améliorée liée au processus de génération. Cette approche offre des perspectives précises pour la conception de modèles multimodaux unifiés de nouvelle génération. Le code est disponible à l'adresse https://github.com/sen-ye/R3.
English
Current research in multimodal models faces a key challenge where enhancing generative capabilities often comes at the expense of understanding, and vice versa. We analyzed this trade-off and identify the primary cause might be the potential conflict between generation and understanding, which creates a competitive dynamic within the model. To address this, we propose the Reason-Reflect-Refine (R3) framework. This innovative algorithm re-frames the single-step generation task into a multi-step process of "generate-understand-regenerate". By explicitly leveraging the model's understanding capability during generation, we successfully mitigate the optimization dilemma, achieved stronger generation results and improved understanding ability which are related to the generation process. This offers valuable insights for designing next-generation unified multimodal models. Code is available at https://github.com/sen-ye/R3.