Goede Tokenjacht: Een gids voor de lifter over tokenselectie voor Visual Geometry Transformers

Samenvatting

Visuele geometrie-transformers zijn krachtige architecturen geworden voor multi-view 3D-reconstructie, waarmee meerdere 3D-kenmerken gezamenlijk op een feed-forward manier kunnen worden voorspeld. Hun rekenkosten nemen echter kwadratisch toe met de lengte van de invoerreeks vanwege de globale aandachtslagen in deze modellen. Dit beperkt zowel hun schaalbaarheid als efficiëntie. In dit werk pakken we deze uitdaging aan met een eenvoudige maar algemene strategie: het beperken van het aantal key/value-tokens waarmee elk query-token interactie heeft tijdens globale aandacht. Om effectieve tokenselectie te bereiken, introduceren we een tweetrapsraamwerk. Eerst werkt een interframe-selectiestap op frameniveau om frames te identificeren die behouden moeten blijven. Ten tweede verwijdert een intraframe-selectiestap verdere redundante tokens binnen de geselecteerde frames. Onze analyse benadrukt het voordeel van een diversiteitsgebaseerde strategie voor interframe-selectie, die een brede dekking van de scène waarborgt. Voor intraframe-selectie tonen we aan dat laagbewuste versparsing noodzakelijk is, waarbij het selectieproces wordt gestuurd door de entropie van het globale aandachtspatroon. Onze aanpak biedt een superieure snelheid-nauwkeurigheid afweging in vergelijking met bestaande oplossingen. Uitgebreide experimenten tonen aan dat het visuele geometrie-transformers versnelt met meer dan 85% voor scènes met 500 afbeeldingen, terwijl de basisprestaties behouden blijven of zelfs worden verbeterd. Dit wijst erop dat onze tokenselectiestrategie een cruciale rol kan spelen in toekomstige toepassingen van visuele geometrie-transformers. Onze projectwebsite is beschikbaar op https://zsh2000.github.io/good-token-hunting.github.io.

English

Visual geometry transformers have become powerful architectures for multi-view 3D reconstruction, enabling joint prediction of multiple 3D attributes in a feed-forward manner. However, their computational cost grows quadratically with the input sequence length due to the global attention layers inside these models. This limits both their scalability and efficiency. In this work, we address this challenge with a simple yet general strategy: restricting the number of key/value tokens that each query interacts with during global attention. To achieve effective token selection, we introduce a two-stage framework. First, an inter-frame selection step operates at the frame level to identify frames that should be preserved. Second, an intra-frame selection step further discards more redundant tokens within the selected frames. Our analysis highlights the advantage of a diversity-based strategy for inter-frame selection, which ensures broad coverage of the scene. For intra-frame selection, we show that layer-aware sparsification is necessary, with the selection process guided by the entropy of the global attention pattern. Our approach offers a superior speed-accuracy trade-off compared to existing solutions. Extensive experiments show that it accelerates visual geometry transformers by over 85% for scenes with 500 images while maintaining, or even improving, baseline performance, which hints that how our token selection strategy can play a crucial role in future applications of visual geometry transformers. Our project website is available at https://zsh2000.github.io/good-token-hunting.github.io.