Von der RGB-Generierung zur Dichte-Feld-Auslese: Dichte Vorhersage im Pixelraum mit Text-zu-Bild-Modellen

Zusammenfassung

Großflächige Text-zu-Bild-Modelle sind attraktive Grundlagen für dichte Vorhersage, da das Vortraining auf RGB-Generierung reichhaltige semantische, strukturelle und geometrische A-priori-Informationen lernt. Bestehende generative und Bearbeitungsansätze nutzen diese A-priori-Informationen wieder, indem sie dichte Vorhersage als Zielgenerierung formulieren: Annotationen wie Tiefe, Normalen, Alphamatten, Masken und Heatmaps werden in einen auf RGB trainierten VAE-Latenzraum codiert und als bildähnliche Ziele zurückdecodiert. Wir argumentieren, dass dies mehr von der generativen Ausgabeschnittstelle erbt, als die dichte Vorhersage benötigt: Im Gegensatz zur RGB-Synthese erfordert die dichte Vorhersage pixelgenaue, aufgabenbezogene Felder auf derselben Bildebene, keine neuen RGB-Inhalte, die gerendert werden müssen. Unsere entscheidende Beobachtung ist, dass ein vortrainierter DiT RGB-Eingaben bereits durch ein Patch-zu-Token-zu-Patch-Gitter auf der Bildebene organisiert, sodass jeder Token ein festes Ausgabepatch indiziert, dessen Kanäle aufgabenbezogene Größen anstelle des RGB-Erscheinungsbildes tragen können. Wir setzen dies als ReChannel um: Wir behalten den VAE-Encoder für die Eingabeverteilung des DiT bei, lassen aber den zielseitigen Decoder weg, passen den eingefrorenen DiT mit aufgabenspezifischem LoRA an und bilden jeden Token über einen gemeinsamen token-lokalen linearen Kopf – etwa 33.000 Parameter, keine räumliche Mischung – auf sein p x p x K_t Pixelraum-Patch ab. Unter Verwendung von FLUX-Klein evaluieren wir dies für sechs Aufgaben der dichten Vorhersage und über ein Dutzend Benchmarks. Diese minimale Schnittstelle erzielt neue Bestwerte bei trimap-freiem Matting, KITTI-Tiefe und referenzierender Segmentierung und bleibt bei Normalen, Salienz und Pose wettbewerbsfähig. In einem vergleichbaren 4B-Setting ist sie genauer und 2,48-mal schneller als ein Gegenstück mit Bearbeitung und latenter Decodierung – die dichte Wahrnehmung kann vom generativen Vortraining profitieren, ohne dessen Ausgabeschnittstelle zu erben.

English

Large-scale text-to-image models are attractive backbones for dense prediction because RGB generation pretraining learns rich semantic, structural, and geometric priors. Existing generative and editing approaches reuse these priors by casting dense prediction as target generation: annotations such as depth, normals, alpha mattes, masks, and heatmaps are encoded into an RGB-trained VAE latent space and decoded back as image-like targets. We argue this inherits more of the generative output interface than dense prediction requires: unlike RGB synthesis, dense prediction asks for pixel-correct, task-native fields on the same image plane, not new RGB content to be rendered. Our key observation is that a pretrained DiT already organizes RGB inputs through a patch-to-token-to-patch lattice on the image plane, so each token indexes a fixed output patch whose channels can carry task-native quantities instead of RGB appearance. We instantiate this as ReChannel: we keep the VAE encoder for the DiT's input distribution but drop the target-side decoder, adapt the frozen DiT with task LoRA, and map each token to its p x p x K_t pixel-space patch through a shared token-local linear head--about 33K parameters, no spatial mixing. Using FLUX-Klein, we evaluate on six dense prediction tasks and over a dozen benchmarks. This minimal interface sets new state-of-the-art on trimap-free matting, KITTI depth, and referring segmentation, and stays competitive on normals, saliency, and pose. In a matched 4B setting it is more accurate and 2.48x faster than an edit-plus-latent-decode counterpart--dense perception can benefit from generative pretraining without inheriting its output interface.