Lotus-2: Progressi nella Predizione Densa Geometrica con un Potente Modello Generativo di Immagini

Lotus-2: Advancing Geometric Dense Prediction with Powerful Image Generative Model

November 30, 2025

Autori: Jing He, Haodong Li, Mingzhi Sheng, Ying-Cong Chen

cs.AI

Abstract

Il recupero di proprietà geometriche a livello di pixel da una singola immagine è fondamentalmente mal posto a causa dell'ambiguità dell'aspetto e delle mappature non iniettive tra osservazioni 2D e strutture 3D. Sebbene i modelli di regressione discriminativa raggiungano prestazioni elevate attraverso una supervisione su larga scala, il loro successo è limitato dalla scala, qualità e diversità dei dati disponibili e da un ragionamento fisico limitato. I recenti modelli di diffusione mostrano potenti prior mondiali che codificano geometria e semantica apprese da enormi dati immagine-testo, ma il riutilizzo diretto della loro formulazione generativa stocastica è subottimale per l'inferenza geometrica deterministica: la prima è ottimizzata per una generazione di immagini diversificata e ad alta fedeltà, mentre la seconda richiede previsioni stabili e accurate. In questo lavoro, proponiamo Lotus-2, un framework deterministico a due stadi per una predizione densa geometrica stabile, accurata e granulare, con l'obiettivo di fornire un protocollo di adattamento ottimale per sfruttare appieno le prior generative pre-addestrate. Nello specifico, nella prima fase, il predittore principale impiega una formulazione deterministica a singolo passo con un obiettivo di dati puliti e un modulo leggero di continuità locale (LCM) per generare strutture globalmente coerenti senza artefatti a griglia. Nella seconda fase, l'affinatore di dettagli esegue una raffinatura a flusso rettificato multi-passo e vincolata all'interno del manifold definito dal predittore principale, migliorando la geometria fine attraverso un flusso deterministico senza rumore. Utilizzando solo 59K campioni di addestramento, meno dell'1% dei dataset su larga scala esistenti, Lotus-2 stabilisce nuovi risultati all'avanguardia nella stima della profondità monoculare e in una previsione della normale di superficie altamente competitiva. Questi risultati dimostrano che i modelli di diffusione possono fungere da prior mondiali deterministiche, abilitando un ragionamento geometrico di alta qualità al di là dei paradigmi tradizionali discriminativi e generativi.

English

Recovering pixel-wise geometric properties from a single image is fundamentally ill-posed due to appearance ambiguity and non-injective mappings between 2D observations and 3D structures. While discriminative regression models achieve strong performance through large-scale supervision, their success is bounded by the scale, quality and diversity of available data and limited physical reasoning. Recent diffusion models exhibit powerful world priors that encode geometry and semantics learned from massive image-text data, yet directly reusing their stochastic generative formulation is suboptimal for deterministic geometric inference: the former is optimized for diverse and high-fidelity image generation, whereas the latter requires stable and accurate predictions. In this work, we propose Lotus-2, a two-stage deterministic framework for stable, accurate and fine-grained geometric dense prediction, aiming to provide an optimal adaption protocol to fully exploit the pre-trained generative priors. Specifically, in the first stage, the core predictor employs a single-step deterministic formulation with a clean-data objective and a lightweight local continuity module (LCM) to generate globally coherent structures without grid artifacts. In the second stage, the detail sharpener performs a constrained multi-step rectified-flow refinement within the manifold defined by the core predictor, enhancing fine-grained geometry through noise-free deterministic flow matching. Using only 59K training samples, less than 1% of existing large-scale datasets, Lotus-2 establishes new state-of-the-art results in monocular depth estimation and highly competitive surface normal prediction. These results demonstrate that diffusion models can serve as deterministic world priors, enabling high-quality geometric reasoning beyond traditional discriminative and generative paradigms.