Lotus-2: Avançando na Predição Densa Geométrica com um Poderoso Modelo Generativo de Imagem

Lotus-2: Advancing Geometric Dense Prediction with Powerful Image Generative Model

November 30, 2025

Autores: Jing He, Haodong Li, Mingzhi Sheng, Ying-Cong Chen

cs.AI

Resumo

A recuperação de propriedades geométricas a nível de pixel a partir de uma única imagem é fundamentalmente mal colocada devido à ambiguidade de aparência e aos mapeamentos não injetivos entre observações 2D e estruturas 3D. Embora os modelos discriminativos de regressão atinjam um desempenho sólido através de supervisão em larga escala, o seu sucesso é limitado pela escala, qualidade e diversidade dos dados disponíveis e pelo raciocínio físico limitado. Os recentes modelos de difusão exibem poderosos *priors* mundiais que codificam geometria e semântica aprendidas a partir de maciços dados imagem-texto. No entanto, reutilizar diretamente a sua formulação generativa estocástica é subótimo para inferência geométrica determinística: a primeira é otimizada para geração de imagens diversificadas e de alta fidelidade, enquanto a última requer previsões estáveis e precisas. Neste trabalho, propomos o Lotus-2, uma estrutura determinística de dois estágios para previsão densa geométrica estável, precisa e de grão fino, visando fornecer um protocolo de adaptação ótimo para explorar totalmente os *priors* generativos pré-treinados. Especificamente, no primeiro estágio, o predictor principal emprega uma formulação determinística de passo único com um objetivo de dados limpos e um módulo leve de continuidade local (LCM) para gerar estruturas globalmente coerentes sem artefatos de *grid*. No segundo estágio, o aguçador de detalhes executa um refinamento de fluxo retificado multi-etapa e restrito dentro da variedade definida pelo predictor principal, aprimorando a geometria de grão fino através do emparelhamento de fluxo determinístico livre de ruído. Utilizando apenas 59 mil amostras de treino, menos de 1% dos conjuntos de dados de larga escala existentes, o Lotus-2 estabelece novos resultados state-of-the-art na estimativa de profundidade monocular e em previsão de normais de superfície altamente competitiva. Estes resultados demonstram que os modelos de difusão podem servir como *priors* mundiais determinísticos, permitindo raciocínio geométrico de alta qualidade para além dos paradigmas tradicionais discriminativos e generativos.

English

Recovering pixel-wise geometric properties from a single image is fundamentally ill-posed due to appearance ambiguity and non-injective mappings between 2D observations and 3D structures. While discriminative regression models achieve strong performance through large-scale supervision, their success is bounded by the scale, quality and diversity of available data and limited physical reasoning. Recent diffusion models exhibit powerful world priors that encode geometry and semantics learned from massive image-text data, yet directly reusing their stochastic generative formulation is suboptimal for deterministic geometric inference: the former is optimized for diverse and high-fidelity image generation, whereas the latter requires stable and accurate predictions. In this work, we propose Lotus-2, a two-stage deterministic framework for stable, accurate and fine-grained geometric dense prediction, aiming to provide an optimal adaption protocol to fully exploit the pre-trained generative priors. Specifically, in the first stage, the core predictor employs a single-step deterministic formulation with a clean-data objective and a lightweight local continuity module (LCM) to generate globally coherent structures without grid artifacts. In the second stage, the detail sharpener performs a constrained multi-step rectified-flow refinement within the manifold defined by the core predictor, enhancing fine-grained geometry through noise-free deterministic flow matching. Using only 59K training samples, less than 1% of existing large-scale datasets, Lotus-2 establishes new state-of-the-art results in monocular depth estimation and highly competitive surface normal prediction. These results demonstrate that diffusion models can serve as deterministic world priors, enabling high-quality geometric reasoning beyond traditional discriminative and generative paradigms.