Lite Any Stereo V2: Correspondência Estéreo Zero-Shot Eficiente, Mais Rápida e Mais Robusta

Resumo

Avanços recentes em correspondência estéreo alcançaram precisão notável, mas frequentemente dependem de modelos grandes, computação pesada ou priors adicionais de modelos de base, tornando-os difíceis de implantar em plataformas com recursos limitados. Em contraste, modelos estéreo eficientes oferecem inferência mais rápida, mas são geralmente considerados menos capazes de forte generalização zero-shot. Neste artigo, desafiamos essa suposição ao apresentar o Lite Any Stereo V2 (LAS2), uma série de modelos ultra-rápidos projetada para correspondência estéreo zero-shot eficiente. O LAS2 é desenvolvido tanto do ponto de vista da arquitetura quanto do treinamento. Arquiteturalmente, revisitamos o design estéreo eficiente sob configurações práticas de implantação e propomos uma estrutura de agregação de custos apenas 2D, otimizada para latência real de inferência, e não apenas para MACs teóricos. Para o treinamento, desenvolvemos uma estratégia de três estágios que combina supervisão sintética, autodestilação e destilação de conhecimento do mundo real. Para melhorar a confiabilidade da pseudo-supervisão do mundo real, introduzimos ainda filtragem de pseudo-rótulos e uma operação de clamping de erro, permitindo uma transferência sintético-real mais suave. Instanciamos o LAS2 como uma família de modelos, incluindo variantes feed-forward para diferentes orçamentos de eficiência e uma variante iterativa para maior precisão. Extensos experimentos mostram que o LAS2 atinge precisão estado-da-arte entre métodos estéreo eficientes, mantendo latência significativamente menor. Especificamente, o LAS2-H alcança desempenho zero-shot geral superior ao método iterativo Fast-FoundationStereo, com inferência 1,8x e 2,7x mais rápida em H200 e Orin, respectivamente. A página do projeto, demonstrações e código estão disponíveis em https://tomtomtommi.github.io/LiteAnyStereoV2/.

English

Recent advances in stereo matching have achieved remarkable accuracy, but often rely on large models, heavy computation, or additional foundation-model priors, making them difficult to deploy on resource-constrained platforms. In contrast, efficient stereo models offer faster inference but are commonly considered less capable of strong zero-shot generalization. In this paper, we challenge this assumption by introducing Lite Any Stereo V2 (LAS2), an ultra-fast model series designed for efficient zero-shot stereo matching. LAS2 is developed from both architecture and training perspectives. Architecturally, we revisit efficient stereo design under practical deployment settings and propose a 2D-only cost aggregation framework, optimized for real inference latency rather than theoretical MACs alone. For training, we develop a three-stage strategy that combines synthetic supervision, self-distillation, and real-world knowledge distillation. To improve the reliability of real-world pseudo supervision, we further introduce pseudo-label filtering and an error-clamping operation, enabling smoother synthetic-to-real transfer. We instantiate LAS2 as a family of models, including feed-forward variants for different efficiency budgets and an iterative variant for higher accuracy. Extensive experiments show that LAS2 achieves state-of-the-art accuracy among efficient stereo methods while maintaining significantly lower latency. Specifically, LAS2-H achieves stronger overall zero-shot performance than the iterative method Fast-FoundationStereo, with 1.8x and 2.7x faster inference on H200 and Orin, respectively. The project page, demos, and code are available at https://tomtomtommi.github.io/LiteAnyStereoV2/.