Lite Any Stereo V2: Schnelleres und stärkeres effizientes Zero-Shot-Stereomatching

Zusammenfassung

Aktuelle Fortschritte im Bereich des Stereo Matchings haben bemerkenswerte Genauigkeiten erzielt, beruhen jedoch oft auf großen Modellen, hohem Rechenaufwand oder zusätzlichen Wissensgrundlagenmodellen, was ihre Bereitstellung auf ressourcenbeschränkten Plattformen erschwert. Im Gegensatz dazu bieten effiziente Stereomodelle schnellere Inferenzen, gelten aber gemeinhin als weniger leistungsfähig für eine starke Zero-Shot-Generalisierung. In dieser Arbeit stellen wir diese Annahme infrage, indem wir Lite Any Stereo V2 (LAS2) vorstellen, eine ultraschnelle Modellserie, die für effizientes Zero-Shot-Stereo Matching konzipiert ist. LAS2 wird sowohl aus architektonischer als auch aus trainingsmethodischer Perspektive entwickelt. Architektonisch überdenken wir effizientes Stereodesign unter praktischen Bereitstellungsbedingungen und schlagen ein rein 2D-basiertes Kostenaggregations-Framework vor, das für die tatsächliche Inferenzlatenz optimiert ist und nicht nur für theoretische MACs. Für das Training entwickeln wir eine dreistufige Strategie, die synthetische Überwachung, Selbstdestillation und Wissensdestillation aus der realen Welt kombiniert. Um die Zuverlässigkeit der Pseudo-Überwachung aus der realen Welt zu verbessern, führen wir zudem eine Pseudo-Label-Filterung und eine Fehlerbegrenzungsoperation ein, die einen reibungsloseren Transfer von synthetischen zu realen Daten ermöglicht. Wir instantiieren LAS2 als Modellfamilie, die Feed-Forward-Varianten für unterschiedliche Effizienzanforderungen sowie eine iterative Variante für höhere Genauigkeit umfasst. Umfangreiche Experimente zeigen, dass LAS2 die höchste Genauigkeit unter den effizienten Stereomethoden erreicht und gleichzeitig eine deutlich geringere Latenz aufweist. Insbesondere erzielt LAS2-H eine stärkere übergreifende Zero-Shot-Leistung als die iterative Methode Fast-FoundationStereo mit einer 1,8-fach bzw. 2,7-fach schnelleren Inferenz auf H200 bzw. Orin. Die Projektseite, Demos und der Code sind verfügbar unter https://tomtomtommi.github.io/LiteAnyStereoV2/.

English

Recent advances in stereo matching have achieved remarkable accuracy, but often rely on large models, heavy computation, or additional foundation-model priors, making them difficult to deploy on resource-constrained platforms. In contrast, efficient stereo models offer faster inference but are commonly considered less capable of strong zero-shot generalization. In this paper, we challenge this assumption by introducing Lite Any Stereo V2 (LAS2), an ultra-fast model series designed for efficient zero-shot stereo matching. LAS2 is developed from both architecture and training perspectives. Architecturally, we revisit efficient stereo design under practical deployment settings and propose a 2D-only cost aggregation framework, optimized for real inference latency rather than theoretical MACs alone. For training, we develop a three-stage strategy that combines synthetic supervision, self-distillation, and real-world knowledge distillation. To improve the reliability of real-world pseudo supervision, we further introduce pseudo-label filtering and an error-clamping operation, enabling smoother synthetic-to-real transfer. We instantiate LAS2 as a family of models, including feed-forward variants for different efficiency budgets and an iterative variant for higher accuracy. Extensive experiments show that LAS2 achieves state-of-the-art accuracy among efficient stereo methods while maintaining significantly lower latency. Specifically, LAS2-H achieves stronger overall zero-shot performance than the iterative method Fast-FoundationStereo, with 1.8x and 2.7x faster inference on H200 and Orin, respectively. The project page, demos, and code are available at https://tomtomtommi.github.io/LiteAnyStereoV2/.