Lotus-2: Avanzando en la Predicción Densa Geométrica con un Potente Modelo Generativo de Imágenes

Lotus-2: Advancing Geometric Dense Prediction with Powerful Image Generative Model

November 30, 2025

Autores: Jing He, Haodong Li, Mingzhi Sheng, Ying-Cong Chen

cs.AI

Resumen

La recuperación de propiedades geométricas a nivel de píxel a partir de una única imagen es un problema intrínsecamente mal planteado debido a la ambigüedad de apariencia y a las asignaciones no inyectivas entre las observaciones 2D y las estructuras 3D. Si bien los modelos de regresión discriminativa logran un alto rendimiento mediante supervisión a gran escala, su éxito está limitado por la escala, calidad y diversidad de los datos disponibles, así como por un razonamiento físico limitado. Los modelos de difusión recientes exhiben potentes *priors* del mundo que codifican geometría y semántica aprendidas de datos masivos de imagen-texto; sin embargo, reutilizar directamente su formulación generativa estocástica es subóptimo para la inferencia geométrica determinista: la primera está optimizada para la generación de imágenes diversas y de alta fidelidad, mientras que la segunda requiere predicciones estables y precisas. En este trabajo, proponemos Lotus-2, un marco determinista de dos etapas para la predicción densa geométrica estable, precisa y de grano fino, con el objetivo de proporcionar un protocolo de adaptación óptimo para explotar completamente los *priors* generativos preentrenados. Específicamente, en la primera etapa, el predictor principal emplea una formulación determinista de un solo paso con un objetivo de datos limpios y un módulo liviano de continuidad local (LCM) para generar estructuras globalmente coherentes sin artefactos de grilla. En la segunda etapa, el agudizador de detalles realiza un refinamiento de flujo rectificado multi-paso y restringido dentro de la variedad definida por el predictor principal, mejorando la geometría de grano fino mediante una correspondencia de flujo determinista libre de ruido. Utilizando solo 59K muestras de entrenamiento, menos del 1% de los conjuntos de datos a gran escala existentes, Lotus-2 establece nuevos resultados de vanguardia en estimación de profundidad monocular y una predicción de normales de superficie altamente competitiva. Estos resultados demuestran que los modelos de difusión pueden servir como *priors* deterministas del mundo, permitiendo un razonamiento geométrico de alta calidad más allá de los paradigmas tradicionales discriminativos y generativos.

English

Recovering pixel-wise geometric properties from a single image is fundamentally ill-posed due to appearance ambiguity and non-injective mappings between 2D observations and 3D structures. While discriminative regression models achieve strong performance through large-scale supervision, their success is bounded by the scale, quality and diversity of available data and limited physical reasoning. Recent diffusion models exhibit powerful world priors that encode geometry and semantics learned from massive image-text data, yet directly reusing their stochastic generative formulation is suboptimal for deterministic geometric inference: the former is optimized for diverse and high-fidelity image generation, whereas the latter requires stable and accurate predictions. In this work, we propose Lotus-2, a two-stage deterministic framework for stable, accurate and fine-grained geometric dense prediction, aiming to provide an optimal adaption protocol to fully exploit the pre-trained generative priors. Specifically, in the first stage, the core predictor employs a single-step deterministic formulation with a clean-data objective and a lightweight local continuity module (LCM) to generate globally coherent structures without grid artifacts. In the second stage, the detail sharpener performs a constrained multi-step rectified-flow refinement within the manifold defined by the core predictor, enhancing fine-grained geometry through noise-free deterministic flow matching. Using only 59K training samples, less than 1% of existing large-scale datasets, Lotus-2 establishes new state-of-the-art results in monocular depth estimation and highly competitive surface normal prediction. These results demonstrate that diffusion models can serve as deterministic world priors, enabling high-quality geometric reasoning beyond traditional discriminative and generative paradigms.