RGB를 시각의 언어로 하자

초록

본 연구는 비전 모델을 위한 통합된 공식화를 소개한다. 여기서 마스크, 깊이 맵 및 기타 구조화된 시각 신호와 같은 자연 이미지 외의 다양한 형태의 시각 정보는 모두 RGB 이미지로 표현되며, 일반적인 시각 작업은 공통의 RGB-to-RGB 이미지 편집 문제로 변환될 수 있다. 이 패러다임에서 다양한 유형의 시각 정보는 내부적으로 자연 이미지와 동일한 인코딩 및 디코딩 아키텍처와 파라미터를 공유하여, 단일 모델이 통합된 시각 인터페이스를 통해 작업 간 전이를 가능하게 한다. 이는 언어 모델이 텍스트를 처리하는 방식과 유사하다. 우리는 이 공식화를 RGB In and RGB Out (RINO)이라고 명명한다. 작업별 미세 조정 없이 일반적인 이미지 편집 백본을 기반으로 구축된 RINO는 분할 및 깊이 추정과 같은 밀집 이해 작업(출력을 RGB로 통합)과 포즈-투-이미지 생성과 같은 밀집 조건 생성 작업(입력을 RGB로 통합) 모두에서 강력하고 경쟁력 있는 제로샷 성능을 보여준다. 우리는 이 연구가 다양한 시각 작업이 공유된 시각 언어를 통해 표현, 해석 및 해결될 수 있는 일반적인 통합 비전-언어 시스템에 유용한 통찰력을 제공하기를 바란다. 코드는 https://github.com/yangtiming/RINO에서 확인할 수 있다.

English

This work introduces a unified formulation for vision models, where diverse forms of visual information beyond natural images, such as masks, depth maps, and other structured visual signals, are all represented as RGB images, while general visual tasks can be converted into a common RGB-to-RGB image editing problem. In this paradigm, different types of visual information internally share the same encoding and decoding architecture and parameters as natural images, enabling a single model to transfer across tasks through a unified visual interface, in a way analogous to how language models operate over text. We refer to this formulation as RGB In and RGB Out (RINO). Built upon a generic image editing backbone without task-specific fine-tuning, RINO demonstrates robust and competitive zero-shot performance on both dense understanding tasks such as segmentation and depth estimation (where we unify outputs as RGB), and dense-conditioned generation tasks such as pose-to-image generation (where we unify inputs as RGB). We hope this study provides useful insights toward general unified vision-language systems, where diverse visual tasks can be expressed, interpreted, and solved through a shared visual language. Code is available at https://github.com/yangtiming/RINO.