Lite Any Stereo V2: Emparejamiento estéreo eficiente de cero disparos más rápido y más robusto

Resumen

Los avances recientes en el emparejamiento estéreo han logrado una precisión notable, pero a menudo dependen de modelos grandes, un alto costo computacional o conocimientos previos de modelos fundamentales adicionales, lo que dificulta su implementación en plataformas con recursos limitados. En contraste, los modelos estéreo eficientes ofrecen una inferencia más rápida, pero generalmente se considera que tienen una capacidad menor para la generalización zero-shot robusta. En este artículo, cuestionamos esta suposición al presentar Lite Any Stereo V2 (LAS2), una serie de modelos ultrarrápidos diseñados para el emparejamiento estéreo zero-shot eficiente. LAS2 se desarrolla desde perspectivas tanto arquitectónicas como de entrenamiento. En cuanto a la arquitectura, revisitamos el diseño estéreo eficiente bajo configuraciones de implementación prácticas y proponemos un marco de agregación de costos basado únicamente en 2D, optimizado para la latencia real de inferencia en lugar de solo los MACs teóricos. Para el entrenamiento, desarrollamos una estrategia de tres etapas que combina supervisión sintética, autodestilación y destilación de conocimiento del mundo real. Para mejorar la fiabilidad de la supervisión pseudo del mundo real, introducimos además un filtrado de etiquetas pseudo y una operación de bloqueo de errores, lo que permite una transferencia más suave de lo sintético a lo real. Implementamos LAS2 como una familia de modelos, que incluye variantes feed-forward para diferentes presupuestos de eficiencia y una variante iterativa para mayor precisión. Experimentos exhaustivos muestran que LAS2 alcanza una precisión de vanguardia entre los métodos estéreo eficientes, manteniendo al mismo tiempo una latencia significativamente menor. Específicamente, LAS2-H logra un rendimiento zero-shot general superior al del método iterativo Fast-FoundationStereo, con una inferencia 1.8x y 2.7x más rápida en H200 y Orin, respectivamente. La página del proyecto, las demostraciones y el código están disponibles en https://tomtomtommi.github.io/LiteAnyStereoV2/.

English

Recent advances in stereo matching have achieved remarkable accuracy, but often rely on large models, heavy computation, or additional foundation-model priors, making them difficult to deploy on resource-constrained platforms. In contrast, efficient stereo models offer faster inference but are commonly considered less capable of strong zero-shot generalization. In this paper, we challenge this assumption by introducing Lite Any Stereo V2 (LAS2), an ultra-fast model series designed for efficient zero-shot stereo matching. LAS2 is developed from both architecture and training perspectives. Architecturally, we revisit efficient stereo design under practical deployment settings and propose a 2D-only cost aggregation framework, optimized for real inference latency rather than theoretical MACs alone. For training, we develop a three-stage strategy that combines synthetic supervision, self-distillation, and real-world knowledge distillation. To improve the reliability of real-world pseudo supervision, we further introduce pseudo-label filtering and an error-clamping operation, enabling smoother synthetic-to-real transfer. We instantiate LAS2 as a family of models, including feed-forward variants for different efficiency budgets and an iterative variant for higher accuracy. Extensive experiments show that LAS2 achieves state-of-the-art accuracy among efficient stereo methods while maintaining significantly lower latency. Specifically, LAS2-H achieves stronger overall zero-shot performance than the iterative method Fast-FoundationStereo, with 1.8x and 2.7x faster inference on H200 and Orin, respectively. The project page, demos, and code are available at https://tomtomtommi.github.io/LiteAnyStereoV2/.