CanViT: Op weg naar foundation-modellen voor actief zien

CanViT: Toward Active-Vision Foundation Models

March 23, 2026

Auteurs: Yohaï-Eliel Berreby, Sabrina Du, Audrey Durand, B. Suresh Krishna

cs.AI

Samenvatting

Actieve computer vision belooft efficiënte, biologisch plausibele perceptie door middel van sequentiële, gelokaliseerde blikken, maar kampt met een gebrek aan schaalbare algemene architecturen en vooraf getrainde pijplijnen. Hierdoor zijn Active-Vision Foundation Models (AVFM's) onontgonnen gebleven. Wij introduceren CanViT, het eerste taak- en beleidsagnostische AVFM. CanViT gebruikt scene-relative RoPE om een retinotopische Vision Transformer-backbone te verbinden met een spatiotopische, scène-brede latente werkruimte, het 'canvas'. Efficiënte interactie met dit werkgeheugen met hoge capaciteit wordt ondersteund door Canvas Attention, een nieuw asymmetrisch cross-attention-mechanisme. We ontkoppelen denken (backbone-niveau) en geheugen (canvas-niveau), waarbij we self-attention en volledig verbonden lagen aan de canvas-kant elimineren om sequentiële inferentie met lage latentie en schaalbaarheid naar grote scènes te bereiken. Wij stellen een labelvrij actief vision voor-trainingsschema voor, beleidsagnostische passieve-naar-actieve dense latent distillation: het reconstrueren van scène-brede DINOv3-embeddingen uit sequenties van laagresolutie blikken met willekeurige locaties, zoomniveaus en lengtes. We trainen CanViT-B voor vanaf een willekeurige initialisatie op 13,2 miljoen ImageNet-21k-scènes – een orde van grootte meer dan vorige actieve modellen – en 1 miljard willekeurige blikken, in 166 uur op een enkele H100. Op ADE20K-segmentatie behaalt een bevroren CanViT-B 38,5% mIoU in een enkele laagresolutie blik, wat beter is dan de 27,6% van het beste actieve model met 19,5x minder inferentie-FLOPs en geen fine-tuning, evenals zijn FLOP- of input-gematchte DINOv3-leraar. Met extra blikken bereikt CanViT-B 45,9% ADE20K mIoU. Op ImageNet-1k-classificatie bereikt CanViT-B 81,2% top-1-nauwkeurigheid met bevroren teacher probes. CanViT generaliseert naar langere rollouts, grotere scènes en nieuwe beleidsregels. Ons werk dicht de kloof tussen passieve en actieve vision voor semantische segmentatie en toont het potentieel van AVFM's als een nieuwe onderzoeksas.

English

Active computer vision promises efficient, biologically plausible perception through sequential, localized glimpses, but lacks scalable general-purpose architectures and pretraining pipelines. As a result, Active-Vision Foundation Models (AVFMs) have remained unexplored. We introduce CanViT, the first task- and policy-agnostic AVFM. CanViT uses scene-relative RoPE to bind a retinotopic Vision Transformer backbone and a spatiotopic scene-wide latent workspace, the canvas. Efficient interaction with this high-capacity working memory is supported by Canvas Attention, a novel asymmetric cross-attention mechanism. We decouple thinking (backbone-level) and memory (canvas-level), eliminating canvas-side self-attention and fully-connected layers to achieve low-latency sequential inference and scalability to large scenes. We propose a label-free active vision pretraining scheme, policy-agnostic passive-to-active dense latent distillation: reconstructing scene-wide DINOv3 embeddings from sequences of low-resolution glimpses with randomized locations, zoom levels, and lengths. We pretrain CanViT-B from a random initialization on 13.2 million ImageNet-21k scenes -- an order of magnitude more than previous active models -- and 1 billion random glimpses, in 166 hours on a single H100. On ADE20K segmentation, a frozen CanViT-B achieves 38.5% mIoU in a single low-resolution glimpse, outperforming the best active model's 27.6% with 19.5x fewer inference FLOPs and no fine-tuning, as well as its FLOP- or input-matched DINOv3 teacher. Given additional glimpses, CanViT-B reaches 45.9% ADE20K mIoU. On ImageNet-1k classification, CanViT-B reaches 81.2% top-1 accuracy with frozen teacher probes. CanViT generalizes to longer rollouts, larger scenes, and new policies. Our work closes the wide gap between passive and active vision on semantic segmentation and demonstrates the potential of AVFMs as a new research axis.