Lite3R: Een model-agnostisch framework voor efficiënte feed-forward 3D-reconstructie

Samenvatting

Transformer-gebaseerde 3D-reconstructie heeft zich ontwikkeld tot een krachtig paradigma voor het terugwinnen van geometrie en verschijning uit multi-view observaties, met sterke prestaties onder uitdagende visuele omstandigheden. Naarmate deze modellen opschalen naar grotere backbones en invoer met hogere resolutie, wordt het verbeteren van hun efficiëntie steeds belangrijker voor praktische implementatie. Moderne 3D-transformerpijplijnen staan echter voor twee samenhangende uitdagingen: dichte multi-view aandacht creëert aanzienlijke token-mixing overhead, en uitvoering met lage precisie kan geometriegevoelige representaties destabiliseren en diepte, pose en 3D-consistentie aantasten. Om de eerste uitdaging aan te pakken, stellen we Lite3R voor, een model-agnostisch leraar-student raamwerk dat dichte aandacht vervangt door Sparse Lineaire Aandacht om belangrijke geometrische interacties te behouden terwijl de aandachtskosten worden verlaagd. Om de tweede uitdaging aan te pakken, introduceren we een parameter-efficiënte FP8-bewuste kwantisatiebewuste trainingsstrategie (FP8-aware QAT) met gedeeltelijke aandachtsdestillatie, die de overgrote meerderheid van de voorgetrainde backbone-parameters bevriest en alleen lichte lineaire takprojectielagen traint, waardoor stabiele implementatie met lage precisie mogelijk wordt terwijl voorgetrainde geometrische voorkennis behouden blijft. We evalueren Lite3R verder op twee representatieve backbones, VGGT en DA3-Large, over BlendedMVS en DTU64, en tonen aan dat het de latentie (1,7-2,0x) en het geheugengebruik (1,9-2,4x) aanzienlijk vermindert terwijl het over het algemeen een concurrerende reconstructiekwaliteit behoudt. Deze resultaten tonen aan dat Lite3R een effectieve algoritme-systeem co-design benadering biedt voor praktische transformer-gebaseerde 3D-reconstructie. Code: https://github.com/AIGeeksGroup/Lite3R. Website: https://aigeeksgroup.github.io/Lite3R.

English

Transformer-based 3D reconstruction has emerged as a powerful paradigm for recovering geometry and appearance from multi-view observations, offering strong performance across challenging visual conditions. As these models scale to larger backbones and higher-resolution inputs, improving their efficiency becomes increasingly important for practical deployment. However, modern 3D transformer pipelines face two coupled challenges: dense multi-view attention creates substantial token-mixing overhead, and low-precision execution can destabilize geometry-sensitive representations and degrade depth, pose, and 3D consistency. To address the first challenge, we propose Lite3R, a model-agnostic teacher-student framework that replaces dense attention with Sparse Linear Attention to preserve important geometric interactions while reducing attention cost. To address the second challenge, we introduce a parameter-efficient FP8-aware quantization-aware training (FP8-aware QAT) strategy with partial attention distillation, which freezes the vast majority of pretrained backbone parameters and trains only lightweight linear-branch projection layers, enabling stable low-precision deployment while retaining pretrained geometric priors. We further evaluate Lite3R on two representative backbones, VGGT and DA3-Large, over BlendedMVS and DTU64, showing that it substantially reduces latency (1.7-2.0x) and memory usage (1.9-2.4x) while preserving competitive reconstruction quality overall. These results demonstrate that Lite3R provides an effective algorithm-system co-design approach for practical transformer-based 3D reconstruction. Code: https://github.com/AIGeeksGroup/Lite3R. Website: https://aigeeksgroup.github.io/Lite3R.