RGBを視覚の言語とせよ

要旨

本稿では、視覚モデルのための統一的な定式化を提案する。自然画像に加え、マスク、深度マップ、その他の構造化された視覚信号といった多様な形態の視覚情報をすべてRGB画像として表現し、一般的な視覚タスクを共通のRGBからRGBへの画像編集問題に変換する。このパラダイムでは、異なる種類の視覚情報が内部的に自然画像と同じ符号化・復号化アーキテクチャとパラメータを共有するため、単一のモデルが統一的な視覚インターフェースを通じてタスク間を転移できる。これは、言語モデルがテキスト上で動作する様式に類似している。この定式化をRGB In and RGB Out（RINO）と呼ぶ。タスク固有の微調整を行わず、汎用的な画像編集バックボーンに基づくRINOは、セグメンテーションや深度推定といった高密度理解タスク（出力をRGBとして統一）や、ポーズから画像への生成といった高密度条件付き生成タスク（入力をRGBとして統一）において、頑健で競争力のあるゼロショット性能を示す。本稿が、多様な視覚タスクを共有の視覚言語で表現・解釈・解決可能な、統一的な視覚言語システムへの有益な洞察を提供することを期待する。コードはhttps://github.com/yangtiming/RINOで公開されている。

English

This work introduces a unified formulation for vision models, where diverse forms of visual information beyond natural images, such as masks, depth maps, and other structured visual signals, are all represented as RGB images, while general visual tasks can be converted into a common RGB-to-RGB image editing problem. In this paradigm, different types of visual information internally share the same encoding and decoding architecture and parameters as natural images, enabling a single model to transfer across tasks through a unified visual interface, in a way analogous to how language models operate over text. We refer to this formulation as RGB In and RGB Out (RINO). Built upon a generic image editing backbone without task-specific fine-tuning, RINO demonstrates robust and competitive zero-shot performance on both dense understanding tasks such as segmentation and depth estimation (where we unify outputs as RGB), and dense-conditioned generation tasks such as pose-to-image generation (where we unify inputs as RGB). We hope this study provides useful insights toward general unified vision-language systems, where diverse visual tasks can be expressed, interpreted, and solved through a shared visual language. Code is available at https://github.com/yangtiming/RINO.