Lotus-2 : Faire progresser la prédiction géométrique dense avec un puissant modèle génératif d'images

Lotus-2: Advancing Geometric Dense Prediction with Powerful Image Generative Model

November 30, 2025

papers.authors: Jing He, Haodong Li, Mingzhi Sheng, Ying-Cong Chen

cs.AI

papers.abstract

La récupération de propriétés géométriques pixel par pixel à partir d'une seule image est fondamentalement mal posée en raison de l'ambiguïté d'apparence et des mappings non injectifs entre les observations 2D et les structures 3D. Bien que les modèles discriminants de régression obtiennent des performances élevées grâce à un apprentissage supervisé à grande échelle, leur succès est limité par l'échelle, la qualité et la diversité des données disponibles, ainsi que par un raisonnement physique restreint. Les récents modèles de diffusion exhibent de puissants a priori sur le monde qui encodent la géométrie et la sémantique apprises à partir de masses de données image-texte. Cependant, leur réutilisation directe via leur formulation générative stochastique est sous-optimale pour l'inférence géométrique déterministe : la première est optimisée pour une génération d'images diverse et de haute fidélité, tandis que la seconde nécessite des prédictions stables et précises. Dans ce travail, nous proposons Lotus-2, un cadre déterministe en deux étapes pour une prédiction dense géométrique stable, précise et à grain fin, visant à fournir un protocole d'adaptation optimal pour exploiter pleinement les a priori génératifs pré-entraînés. Plus précisément, dans la première étape, le prédicteur principal utilise une formulation déterministe en une seule étape avec un objectif de données propres et un module léger de continuité locale (LCM) pour générer des structures globalement cohérentes sans artéfacts de grille. Dans la seconde étape, l'accentueur de détails effectue un raffinement par flux rectifié multi-étapes contraint au sein de la variété définie par le prédicteur principal, améliorant la géométrie fine via un appariement de flux déterministe sans bruit. En utilisant seulement 59 000 échantillons d'entraînement, soit moins de 1 % des jeux de données à grande échelle existants, Lotus-2 établit de nouveaux records de l'état de l'art en estimation de profondeur monoculaire et des prédictions de normales de surface très compétitives. Ces résultats démontrent que les modèles de diffusion peuvent servir d'a priori déterministes sur le monde, permettant un raisonnement géométrique de haute qualité au-delà des paradigmes discriminants et génératifs traditionnels.

English

Recovering pixel-wise geometric properties from a single image is fundamentally ill-posed due to appearance ambiguity and non-injective mappings between 2D observations and 3D structures. While discriminative regression models achieve strong performance through large-scale supervision, their success is bounded by the scale, quality and diversity of available data and limited physical reasoning. Recent diffusion models exhibit powerful world priors that encode geometry and semantics learned from massive image-text data, yet directly reusing their stochastic generative formulation is suboptimal for deterministic geometric inference: the former is optimized for diverse and high-fidelity image generation, whereas the latter requires stable and accurate predictions. In this work, we propose Lotus-2, a two-stage deterministic framework for stable, accurate and fine-grained geometric dense prediction, aiming to provide an optimal adaption protocol to fully exploit the pre-trained generative priors. Specifically, in the first stage, the core predictor employs a single-step deterministic formulation with a clean-data objective and a lightweight local continuity module (LCM) to generate globally coherent structures without grid artifacts. In the second stage, the detail sharpener performs a constrained multi-step rectified-flow refinement within the manifold defined by the core predictor, enhancing fine-grained geometry through noise-free deterministic flow matching. Using only 59K training samples, less than 1% of existing large-scale datasets, Lotus-2 establishes new state-of-the-art results in monocular depth estimation and highly competitive surface normal prediction. These results demonstrate that diffusion models can serve as deterministic world priors, enabling high-quality geometric reasoning beyond traditional discriminative and generative paradigms.