RGB 생성에서 밀집 필드 판독까지: 텍스트-이미지 모델을 활용한 픽셀 공간 밀집 예측

초록

대규모 텍스트-이미지 모델은 RGB 생성 사전 학습이 풍부한 의미, 구조 및 기하학적 사전 지식을 학습하기 때문에 밀집 예측을 위한 매력적인 백본이다. 기존의 생성 및 편집 접근 방식은 밀집 예측을 대상 생성으로 간주하여 이러한 사전 지식을 재사용한다: 깊이, 법선, 알파 매트, 마스크, 히트맵과 같은 주석을 RGB로 학습된 VAE 잠재 공간으로 인코딩하고 이를 다시 이미지와 유사한 대상으로 디코딩한다. 우리는 이것이 밀집 예측에 필요한 것보다 생성적 출력 인터페이스를 더 많이 계승한다고 주장한다: RGB 합성과 달리 밀집 예측은 새로운 RGB 콘텐츠를 렌더링하는 것이 아니라 동일한 이미지 평면에서 픽셀 정확하고 작업 고유의 필드를 요구한다. 우리의 핵심 관찰은 사전 학습된 DiT가 이미 이미지 평면의 패치-토큰-패치 격자를 통해 RGB 입력을 구성하므로 각 토큰은 RGB 외관 대신 작업 고유의 양을 담을 수 있는 고정된 출력 패치를 인덱싱한다는 것이다. 우리는 이것을 ReChannel로 구현한다: DiT의 입력 분포를 위해 VAE 인코더는 유지하지만 대상 측 디코더는 제거하고, 작업 LoRA로 고정된 DiT를 적응시키며, 각 토큰을 공유된 토큰 지역 선형 헤드(약 33K 파라미터, 공간 혼합 없음)를 통해 p x p x K_t 픽셀 공간 패치로 매핑한다. FLUX-Klein을 사용하여 6가지 밀집 예측 작업과 12개 이상의 벤치마크에서 평가한다. 이 최소 인터페이스는 트라이맵 없는 매팅, KITTI 깊이, 참조 분할에서 새로운 최첨단을 설정하고 법선, 현저성, 자세에서 경쟁력을 유지한다. 동일한 4B 설정에서 편집 및 잠재 디코딩 방식보다 더 정확하고 2.48배 빠르다 – 밀집 지각은 생성적 사전 학습의 이점을 얻되 그 출력 인터페이스를 계승하지 않아도 된다.

English

Large-scale text-to-image models are attractive backbones for dense prediction because RGB generation pretraining learns rich semantic, structural, and geometric priors. Existing generative and editing approaches reuse these priors by casting dense prediction as target generation: annotations such as depth, normals, alpha mattes, masks, and heatmaps are encoded into an RGB-trained VAE latent space and decoded back as image-like targets. We argue this inherits more of the generative output interface than dense prediction requires: unlike RGB synthesis, dense prediction asks for pixel-correct, task-native fields on the same image plane, not new RGB content to be rendered. Our key observation is that a pretrained DiT already organizes RGB inputs through a patch-to-token-to-patch lattice on the image plane, so each token indexes a fixed output patch whose channels can carry task-native quantities instead of RGB appearance. We instantiate this as ReChannel: we keep the VAE encoder for the DiT's input distribution but drop the target-side decoder, adapt the frozen DiT with task LoRA, and map each token to its p x p x K_t pixel-space patch through a shared token-local linear head--about 33K parameters, no spatial mixing. Using FLUX-Klein, we evaluate on six dense prediction tasks and over a dozen benchmarks. This minimal interface sets new state-of-the-art on trimap-free matting, KITTI depth, and referring segmentation, and stays competitive on normals, saliency, and pose. In a matched 4B setting it is more accurate and 2.48x faster than an edit-plus-latent-decode counterpart--dense perception can benefit from generative pretraining without inheriting its output interface.