BA-T: 이시점 번들 조정을 위한 반복적 트랜스포머

초록

3D 재구성을 위한 피드포워드 모델은 이미지 간 정보 교환을 위해 심층 교차 뷰 어텐션(deep cross-view attention)을 사용하여 강력한 성능을 달성해 왔다. 그러나 이러한 접근 방식은 종종 무거운 디코더 스택에 의존하고 기하학적 정제를 위한 구조화된 메커니즘이 부족하여 다중 뷰 일관성이 낮다는 문제가 있다. 본 연구는 이러한 문제를 고전적 번들 조정(bundle adjustment, BA)에서 영감을 받아 해결한다. BA는 자세(pose)와 국소 기하학 간의 반복적 정보 전파 과정으로 볼 수 있다. BA에서 착안하여, 우리는 BA 스타일의 구조화된 업데이트를 암시적 토큰 공간에서 반복 가능한 레이어로 구현하는 반복 변환기(iterative Transformer)인 BA-T를 제안한다. BA-T는 깊은 어텐션 스택에 의존하는 대신, 단일 경량 레이어를 통해 잠재 잔차(latent residual)를 기반으로 예측을 정제한다. 실험 결과, BA-T는 반복을 통해 자세 및 재구성 정확도를 점진적으로 향상시키고, 기존 디코더보다 강력한 교차 뷰 일관성을 달성하며, 디코더 파라미터의 16%만을 사용하면서도 훨씬 더 큰 모델과 동등하거나 이를 능가하는 성능을 보여준다. BA-T는 깊이 중심의 어텐션에 대한 간결하고 효율적이며 구조화된 대안을 제공하여, 경량 아키텍처 내에서 정확한 3D 재구성을 가능하게 한다. 코드는 https://github.com/zhangganlin/BA-T에서 공개될 예정이다.

English

Feed-forward models for 3D reconstruction have achieved strong performance using deep cross-view attention to exchange information across images. However, these approaches often depend on heavy decoder stacks and lack a structured mechanism for geometry refinement, resulting in poor multi-view consistency. We address this by drawing inspiration from classical bundle adjustment (BA), which can be viewed as an iterative information propagation process between poses and local geometry. Inspired by BA, we propose BA-T, an iterative Transformer that implements BA-style structured updates as a repeatable layer in implicit token space. Instead of relying on deep attention stacks, BA-T refines predictions based on latent residual by a single lightweight layer. Experiments demonstrate that BA-T progressively improves pose and reconstruction accuracy across iterations, achieves stronger cross-view consistency than conventional decoders, and matches or surpasses substantially larger models while using only 16% of their decoder parameters. BA-T provides a compact, efficient, and structural alternative to depth-heavy attention, enabling accurate 3D reconstruction within a lightweight architecture. The code will be made publicly at https://github.com/zhangganlin/BA-T.