Lite Any Stereo V2 : Appariement stéréo zero-shot plus rapide, plus robuste et efficace

Résumé

Les avancées récentes en appariement stéréo ont atteint une précision remarquable, mais reposent souvent sur de grands modèles, des calculs lourds ou des a priori provenant de modèles fondamentaux supplémentaires, ce qui les rend difficiles à déployer sur des plateformes aux ressources limitées. En revanche, les modèles stéréo efficaces offrent une inférence plus rapide, mais sont généralement considérés comme moins capables d'une généralisation zero-shot robuste. Dans cet article, nous remettons en cause cette hypothèse en présentant Lite Any Stereo V2 (LAS2), une série de modèles ultrarapides conçus pour un appariement stéréo zero-shot efficace. LAS2 est développé à la fois sous les angles architecturaux et d'entraînement. Sur le plan architectural, nous revisitons la conception de modèles stéréo efficaces dans des contextes de déploiement pratiques et proposons un cadre d'agrégation de coûts exclusivement 2D, optimisé pour la latence réelle d'inférence plutôt que pour les seuls MAC théoriques. Pour l'entraînement, nous développons une stratégie en trois étapes combinant supervision synthétique, auto-distillation et distillation de connaissances à partir de données réelles. Afin d'améliorer la fiabilité de la pseudo-supervision issue du monde réel, nous introduisons en outre un filtrage des pseudo-étiquettes et une opération d'écrêtage d'erreur, permettant un transfert plus fluide du synthétique au réel. Nous déclinons LAS2 en une famille de modèles, incluant des variantes feed-forward pour différents budgets d'efficacité et une variante itérative pour une précision accrue. Des expériences approfondies montrent que LAS2 atteint une précision de pointe parmi les méthodes stéréo efficaces tout en maintenant une latence significativement plus faible. En particulier, LAS2-H obtient des performances zero-shot globales supérieures à celles de la méthode itérative Fast-FoundationStereo, avec une inférence 1,8 fois et 2,7 fois plus rapide sur H200 et Orin respectivement. La page du projet, les démonstrations et le code sont disponibles à l'adresse https://tomtomtommi.github.io/LiteAnyStereoV2/.

English

Recent advances in stereo matching have achieved remarkable accuracy, but often rely on large models, heavy computation, or additional foundation-model priors, making them difficult to deploy on resource-constrained platforms. In contrast, efficient stereo models offer faster inference but are commonly considered less capable of strong zero-shot generalization. In this paper, we challenge this assumption by introducing Lite Any Stereo V2 (LAS2), an ultra-fast model series designed for efficient zero-shot stereo matching. LAS2 is developed from both architecture and training perspectives. Architecturally, we revisit efficient stereo design under practical deployment settings and propose a 2D-only cost aggregation framework, optimized for real inference latency rather than theoretical MACs alone. For training, we develop a three-stage strategy that combines synthetic supervision, self-distillation, and real-world knowledge distillation. To improve the reliability of real-world pseudo supervision, we further introduce pseudo-label filtering and an error-clamping operation, enabling smoother synthetic-to-real transfer. We instantiate LAS2 as a family of models, including feed-forward variants for different efficiency budgets and an iterative variant for higher accuracy. Extensive experiments show that LAS2 achieves state-of-the-art accuracy among efficient stereo methods while maintaining significantly lower latency. Specifically, LAS2-H achieves stronger overall zero-shot performance than the iterative method Fast-FoundationStereo, with 1.8x and 2.7x faster inference on H200 and Orin, respectively. The project page, demos, and code are available at https://tomtomtommi.github.io/LiteAnyStereoV2/.