Da Geração RGB à Leitura de Campo Denso: Predição Densa no Espaço de Pixel com Modelos de Texto para Imagem

Resumo

Modelos de texto-para-imagem em larga escala são bases atrativas para predição densa, pois o pré-treinamento de geração RGB aprende priors semânticos, estruturais e geométricos ricos. Abordagens generativas e de edição existentes reutilizam esses priors ao transformar a predição densa em geração de alvos: anotações como profundidade, normais, mattes alfa, máscaras e mapas de calor são codificadas em um espaço latente de VAE treinado em RGB e decodificadas de volta como alvos semelhantes a imagens. Argumentamos que isso herda mais da interface de saída generativa do que a predição densa exige: diferentemente da síntese RGB, a predição densa requer campos nativos da tarefa, com correção por pixel, no mesmo plano da imagem, e não novo conteúdo RGB a ser renderizado. Nossa observação-chave é que um DiT pré-treinado já organiza entradas RGB por meio de uma malha patch-para-token-para-patch no plano da imagem, de modo que cada token indexa um patch de saída fixo cujos canais podem transportar quantidades nativas da tarefa, em vez de aparência RGB. Materializamos isso como ReChannel: mantemos o codificador VAE para a distribuição de entrada do DiT, mas removemos o decodificador do lado do alvo, adaptamos o DiT congelado com LoRA de tarefa e mapeamos cada token para seu patch de espaço de pixel de p x p x K_t por meio de uma cabeça linear local ao token compartilhada—cerca de 33 mil parâmetros, sem mistura espacial. Usando FLUX-Klein, avaliamos em seis tarefas de predição densa e mais de uma dezena de benchmarks. Essa interface mínima estabelece novo estado da arte em matting sem trimap, profundidade KITTI e segmentação por referência, e mantém competitividade em normais, saliência e pose. Em uma configuração pareada de 4B, é mais precisa e 2,48x mais rápida que uma contraparte de edição mais decodificação latente—a percepção densa pode se beneficiar do pré-treinamento generativo sem herdar sua interface de saída.

English

Large-scale text-to-image models are attractive backbones for dense prediction because RGB generation pretraining learns rich semantic, structural, and geometric priors. Existing generative and editing approaches reuse these priors by casting dense prediction as target generation: annotations such as depth, normals, alpha mattes, masks, and heatmaps are encoded into an RGB-trained VAE latent space and decoded back as image-like targets. We argue this inherits more of the generative output interface than dense prediction requires: unlike RGB synthesis, dense prediction asks for pixel-correct, task-native fields on the same image plane, not new RGB content to be rendered. Our key observation is that a pretrained DiT already organizes RGB inputs through a patch-to-token-to-patch lattice on the image plane, so each token indexes a fixed output patch whose channels can carry task-native quantities instead of RGB appearance. We instantiate this as ReChannel: we keep the VAE encoder for the DiT's input distribution but drop the target-side decoder, adapt the frozen DiT with task LoRA, and map each token to its p x p x K_t pixel-space patch through a shared token-local linear head--about 33K parameters, no spatial mixing. Using FLUX-Klein, we evaluate on six dense prediction tasks and over a dozen benchmarks. This minimal interface sets new state-of-the-art on trimap-free matting, KITTI depth, and referring segmentation, and stays competitive on normals, saliency, and pose. In a matched 4B setting it is more accurate and 2.48x faster than an edit-plus-latent-decode counterpart--dense perception can benefit from generative pretraining without inheriting its output interface.