Lotus-2: Vooruitgang in Geometrische Dichte Voorspelling met Krachtig Beeldgeneratiemodel

Lotus-2: Advancing Geometric Dense Prediction with Powerful Image Generative Model

November 30, 2025

Auteurs: Jing He, Haodong Li, Mingzhi Sheng, Ying-Cong Chen

cs.AI

Samenvatting

Het herstellen van pixelgeometrische eigenschappen uit een enkele afbeelding is fundamenteel ill-posed vanwege verschijningsambiguïteit en niet-injectieve afbeeldingen tussen 2D-waarnemingen en 3D-structuren. Hoewel discriminatieve regressiemodellen sterke prestaties bereiken via grootschalige supervisie, wordt hun succes begrensd door de schaal, kwaliteit en diversiteit van beschikbare data en beperkt fysiek redeneren. Recente diffusiemodellen vertonen krachtige wereldpriors die geometrie en semantiek coderen, geleerd uit massale beeld-tekstdata, maar het direct hergebruiken van hun stochastische generatieve formulering is suboptimaal voor deterministische geometrische inferentie: de eerste is geoptimaliseerd voor diverse en hoogwaardige beeldgeneratie, terwijl de laatste stabiele en accurate voorspellingen vereist. In dit werk stellen we Lotus-2 voor, een deterministisch tweefasenraamwerk voor stabiele, accurate en fijnmazige geometrische dichte voorspelling, met als doel een optimaal aanpassingsprotocol te bieden om de vooraf getrainde generatieve priors volledig te benutten. Specifiek gebruikt in de eerste fase de kernvoorspeller een deterministische formulering in één stap met een schone-data-doelstelling en een lichtgewicht lokale continuïteitsmodule (LCM) om globaal samenhangende structuren te genereren zonder rasterartefacten. In de tweede fase voert de detailverscherper een beperkte multi-stap gerechtigdestroomverfijning uit binnen de variëteit gedefinieerd door de kernvoorspeller, waarbij fijnmazige geometrie wordt verbeterd door middel van ruisvrije deterministische stroomafstemming. Met slechts 59K trainingsamples, minder dan 1% van bestaande grootschalige datasets, vestigt Lotus-2 nieuwe state-of-the-art resultaten in monocular diepteschatting en zeer competitieve oppervlaktenormaalvoorspelling. Deze resultaten tonen aan dat diffusiemodellen kunnen fungeren als deterministische wereldpriors, waardoor hoogwaardige geometrische redenering mogelijk wordt die verder gaat dan traditionele discriminatieve en generatieve paradigma's.

English

Recovering pixel-wise geometric properties from a single image is fundamentally ill-posed due to appearance ambiguity and non-injective mappings between 2D observations and 3D structures. While discriminative regression models achieve strong performance through large-scale supervision, their success is bounded by the scale, quality and diversity of available data and limited physical reasoning. Recent diffusion models exhibit powerful world priors that encode geometry and semantics learned from massive image-text data, yet directly reusing their stochastic generative formulation is suboptimal for deterministic geometric inference: the former is optimized for diverse and high-fidelity image generation, whereas the latter requires stable and accurate predictions. In this work, we propose Lotus-2, a two-stage deterministic framework for stable, accurate and fine-grained geometric dense prediction, aiming to provide an optimal adaption protocol to fully exploit the pre-trained generative priors. Specifically, in the first stage, the core predictor employs a single-step deterministic formulation with a clean-data objective and a lightweight local continuity module (LCM) to generate globally coherent structures without grid artifacts. In the second stage, the detail sharpener performs a constrained multi-step rectified-flow refinement within the manifold defined by the core predictor, enhancing fine-grained geometry through noise-free deterministic flow matching. Using only 59K training samples, less than 1% of existing large-scale datasets, Lotus-2 establishes new state-of-the-art results in monocular depth estimation and highly competitive surface normal prediction. These results demonstrate that diffusion models can serve as deterministic world priors, enabling high-quality geometric reasoning beyond traditional discriminative and generative paradigms.