LaViDa-R1: 통합 멀티모달 확산 언어 모델의 추론 능력 향상

초록

확산 언어 모델(dLLM)은 최근 자기회귀적 LLM의 유망한 대안으로 부상했습니다. 최신 연구들은 이를 다중모드 이해 및 생성 작업으로 더욱 확장했습니다. 본 연구에서는 다중모드 범용 추론 dLLM인 LaViDa-R1을 제안합니다. 기존 연구들이 작업별 강화 학습을 통해 추론 dLLM을 구축하는 것과 달리, LaViDa-R1은 다양한 다중모드 이해 및 생성 작업을 통합된 방식으로 포함합니다. 특히 LaViDa-R1은 지도 미세 조정(SFT)과 다중 작업 강화 학습(RL)을 원활하게 통합하는 새로운 통합 사후 학습 프레임워크로 구축되었습니다. 효과성과 확장성을 향상시키기 위해 응답 강제화, 트리 탐색, 상호 보완적 가능도 추정 등 여러 새로운 학습 기법을 활용합니다. 다양한 실험을 통해 LaViDa-R1이 시각적 수학 추론, 추론 집약적 기반화, 이미지 편집 등 광범위한 다중모드 작업에서 강력한 성능을 보임을 입증했습니다.

English

Diffusion language models (dLLMs) recently emerged as a promising alternative to auto-regressive LLMs. The latest works further extended it to multimodal understanding and generation tasks. In this work, we propose LaViDa-R1, a multimodal, general-purpose reasoning dLLM. Unlike existing works that build reasoning dLLMs through task-specific reinforcement learning, LaViDa-R1 incorporates diverse multimodal understanding and generation tasks in a unified manner. In particular, LaViDa-R1 is built with a novel unified post-training framework that seamlessly integrates supervised finetuning (SFT) and multi-task reinforcement learning (RL). It employs several novel training techniques, including answer-forcing, tree search, and complementary likelihood estimation, to enhance effectiveness and scalability. Extensive experiments demonstrate LaViDa-R1's strong performance on a wide range of multimodal tasks, including visual math reasoning, reason-intensive grounding, and image editing.

LaViDa-R1: 통합 멀티모달 확산 언어 모델의 추론 능력 향상

LaViDa-R1: Advancing Reasoning for Unified Multimodal Diffusion Language Models

초록

Support