BA-T: Ein iterativer Transformer für das Zwei-Ansichten-Bundle-Adjustment

Zusammenfassung

Feed-forward-Modelle für die 3D-Rekonstruktion haben durch den Einsatz tiefer Cross-View-Aufmerksamkeit zum Informationsaustausch zwischen Bildern starke Leistungen erzielt. Allerdings sind diese Ansätze oft auf schwere Decoder-Stapel angewiesen und entbehren eines strukturierten Mechanismus zur Geometrieverfeinerung, was zu einer schlechten Multi-View-Konsistenz führt. Wir begegnen diesem Problem, indem wir uns vom klassischen Bundle-Adjustment (BA) inspirieren lassen, das als iterativer Informationsweitergabeprozess zwischen Posen und lokaler Geometrie betrachtet werden kann. Inspiriert von BA schlagen wir BA-T vor, einen iterativen Transformer, der BA-artige strukturierte Aktualisierungen als wiederholbare Schicht im impliziten Token-Raum implementiert. Anstatt auf tiefe Aufmerksamkeitsstapel zu setzen, verfeinert BA-T Vorhersagen auf der Grundlage latenter Residuen mittels einer einzigen leichtgewichtigen Schicht. Experimente zeigen, dass BA-T über Iterationen hinweg schrittweise die Pose- und Rekonstruktionsgenauigkeit verbessert, eine stärkere Cross-View-Konsistenz als herkömmliche Decoder erreicht und deutlich größere Modelle erreicht oder übertrifft, während nur 16 % von deren Decoder-Parametern verwendet werden. BA-T bietet eine kompakte, effiziente und strukturelle Alternative zu tiefen Aufmerksamkeitsmechanismen und ermöglicht eine genaue 3D-Rekonstruktion innerhalb einer leichtgewichtigen Architektur. Der Code wird unter https://github.com/zhangganlin/BA-T öffentlich zugänglich gemacht.

English

Feed-forward models for 3D reconstruction have achieved strong performance using deep cross-view attention to exchange information across images. However, these approaches often depend on heavy decoder stacks and lack a structured mechanism for geometry refinement, resulting in poor multi-view consistency. We address this by drawing inspiration from classical bundle adjustment (BA), which can be viewed as an iterative information propagation process between poses and local geometry. Inspired by BA, we propose BA-T, an iterative Transformer that implements BA-style structured updates as a repeatable layer in implicit token space. Instead of relying on deep attention stacks, BA-T refines predictions based on latent residual by a single lightweight layer. Experiments demonstrate that BA-T progressively improves pose and reconstruction accuracy across iterations, achieves stronger cross-view consistency than conventional decoders, and matches or surpasses substantially larger models while using only 16% of their decoder parameters. BA-T provides a compact, efficient, and structural alternative to depth-heavy attention, enabling accurate 3D reconstruction within a lightweight architecture. The code will be made publicly at https://github.com/zhangganlin/BA-T.