BA-T: Итеративный трансформер для двухвидовой оптимизации связок

Аннотация

Модели прямого распространения для трёхмерной реконструкции демонстрируют высокую производительность благодаря использованию глубокого перекрёстного внимания для обмена информацией между изображениями. Однако такие подходы часто опираются на тяжёлые стеки декодеров и лишены структурированного механизма уточнения геометрии, что приводит к низкой согласованности между видами. Мы решаем эту проблему, вдохновляясь классическим выравниванием пучков (BA), которое можно рассматривать как итеративный процесс распространения информации между позами и локальной геометрией. Опираясь на BA, мы предлагаем BA-T — итеративный Трансформатор, реализующий структурированные обновления в стиле BA в виде повторяемого слоя в неявном пространстве токенов. Вместо использования глубоких стеков внимания, BA-T уточняет предсказания на основе скрытых остатков с помощью одного лёгкого слоя. Эксперименты показывают, что BA-T последовательно улучшает точность поз и реконструкции с каждой итерацией, достигает более высокой согласованности между видами по сравнению с традиционными декодерами и соответствует или превосходит значительно более крупные модели, используя лишь 16% их параметров декодера. BA-T предлагает компактную, эффективную и структурированную альтернативу глубокому вниманию, позволяя выполнять точную трёхмерную реконструкцию в лёгкой архитектуре. Код будет опубликован по адресу https://github.com/zhangganlin/BA-T.

English

Feed-forward models for 3D reconstruction have achieved strong performance using deep cross-view attention to exchange information across images. However, these approaches often depend on heavy decoder stacks and lack a structured mechanism for geometry refinement, resulting in poor multi-view consistency. We address this by drawing inspiration from classical bundle adjustment (BA), which can be viewed as an iterative information propagation process between poses and local geometry. Inspired by BA, we propose BA-T, an iterative Transformer that implements BA-style structured updates as a repeatable layer in implicit token space. Instead of relying on deep attention stacks, BA-T refines predictions based on latent residual by a single lightweight layer. Experiments demonstrate that BA-T progressively improves pose and reconstruction accuracy across iterations, achieves stronger cross-view consistency than conventional decoders, and matches or surpasses substantially larger models while using only 16% of their decoder parameters. BA-T provides a compact, efficient, and structural alternative to depth-heavy attention, enabling accurate 3D reconstruction within a lightweight architecture. The code will be made publicly at https://github.com/zhangganlin/BA-T.