UniPercept：美学、品質、構造、質感にわたる統一的な知覚レベル画像理解に向けて

要旨

マルチモーダル大規模言語モデル（MLLM）は、視覚的グラウンディング、セグメンテーション、キャプション生成などの視覚理解タスクにおいて顕著な進展を遂げている。しかしながら、知覚レベルでの画像特徴の認識能力には未だ限界がある。本研究では、美的特性、品質、構造とテクスチャという3つの主要領域にわたる知覚レベル画像理解の統一フレームワーク「UniPercept-Bench」を提案する。階層的な定義体系を確立し、大規模データセットを構築することで、知覚レベル画像理解の評価基盤を整備した。この基盤に立脚し、ドメイン適応型事前学習とタスク整合強化学習により訓練された強力なベースライン「UniPercept」を開発。これにより、視覚評価（VR）と視覚質問応答（VQA）の両タスクにわたる頑健な汎化性能を実現した。UniPerceptは知覚レベル画像理解において既存のMLLMを凌駕し、テキストから画像への生成タスクにおけるプラグアンドプレイ型報酬モデルとしても機能する。本研究はMLLM時代における「知覚レベル画像理解」を定義し、包括的ベンチマークと強力なベースラインの導入を通じて、知覚レベルのマルチモーダル画像理解の発展に堅固な基盤を提供する。

English

Multimodal large language models (MLLMs) have achieved remarkable progress in visual understanding tasks such as visual grounding, segmentation, and captioning. However, their ability to perceive perceptual-level image features remains limited. In this work, we present UniPercept-Bench, a unified framework for perceptual-level image understanding across three key domains: Aesthetics, Quality, Structure and Texture. We establish a hierarchical definition system and construct large-scale datasets to evaluate perceptual-level image understanding. Based on this foundation, we develop a strong baseline UniPercept trained via Domain-Adaptive Pre-Training and Task-Aligned RL, enabling robust generalization across both Visual Rating (VR) and Visual Question Answering (VQA) tasks. UniPercept outperforms existing MLLMs on perceptual-level image understanding and can serve as a plug-and-play reward model for text-to-image generation. This work defines Perceptual-Level Image Understanding in the era of MLLMs and, through the introduction of a comprehensive benchmark together with a strong baseline, provides a solid foundation for advancing perceptual-level multimodal image understanding.

UniPercept：美学、品質、構造、質感にわたる統一的な知覚レベル画像理解に向けて

UniPercept: Towards Unified Perceptual-Level Image Understanding across Aesthetics, Quality, Structure, and Texture

要旨

Support