CanViT : Vers des modèles de fondation pour la vision active

CanViT: Toward Active-Vision Foundation Models

March 23, 2026

Auteurs: Yohaï-Eliel Berreby, Sabrina Du, Audrey Durand, B. Suresh Krishna

cs.AI

Résumé

La vision active promet une perception efficace et biologiquement plausible grâce à des aperçus séquentiels et localisés, mais elle manque d'architectures généralistes évolutives et de pipelines de pré-entraînement. En conséquence, les modèles de fondation en vision active (AVFM) sont restés inexplorés. Nous présentons CanViT, le premier AVFM agnostique à la tâche et à la politique. CanViT utilise un RoPE relatif à la scène pour lier un backbone Vision Transformer rétinotopique et un espace de travail latent spatiotopique à l'échelle de la scène, le canevas. Une interaction efficace avec cette mémoire de travail à haute capacité est supportée par Canvas Attention, un nouveau mécanisme d'attention croisée asymétrique. Nous découplons la pensée (niveau backbone) et la mémoire (niveau canevas), éliminant l'auto-attention et les couches entièrement connectées du côté du canevas pour obtenir une inférence séquentielle à faible latence et une évolutivité aux grandes scènes. Nous proposons un schéma de pré-entraînement en vision active sans étiquette, la distillation latente dense passive-vers-active agnostique à la politique : reconstruire des embeddings DINOv3 à l'échelle de la scène à partir de séquences d'aperçus basse résolution avec des emplacements, niveaux de zoom et longueurs aléatoires. Nous pré-entraînons CanViT-B à partir d'une initialisation aléatoire sur 13,2 millions de scènes ImageNet-21k — un ordre de grandeur de plus que les modèles actifs précédents — et 1 milliard d'aperçus aléatoires, en 166 heures sur un seul H100. Sur la segmentation ADE20K, un CanViT-B gelé atteint 38,5 % de mIoU avec un seul aperçu basse résolution, surpassant le meilleur modèle actif (27,6 %) avec 19,5 fois moins de FLOPs d'inférence et sans fine-tuning, ainsi que son enseignant DINOv3 à FLOPs ou entrées équivalents. Avec des aperçus supplémentaires, CanViT-B atteint 45,9 % de mIoU sur ADE20K. Sur la classification ImageNet-1k, CanViT-B atteint 81,2 % de précision top-1 avec des sondes d'enseignant gelées. CanViT généralise à des séquences plus longues, des scènes plus grandes et de nouvelles politiques. Notre travail comble le large fossé entre la vision passive et active sur la segmentation sémantique et démontre le potentiel des AVFM comme un nouvel axe de recherche.

English

Active computer vision promises efficient, biologically plausible perception through sequential, localized glimpses, but lacks scalable general-purpose architectures and pretraining pipelines. As a result, Active-Vision Foundation Models (AVFMs) have remained unexplored. We introduce CanViT, the first task- and policy-agnostic AVFM. CanViT uses scene-relative RoPE to bind a retinotopic Vision Transformer backbone and a spatiotopic scene-wide latent workspace, the canvas. Efficient interaction with this high-capacity working memory is supported by Canvas Attention, a novel asymmetric cross-attention mechanism. We decouple thinking (backbone-level) and memory (canvas-level), eliminating canvas-side self-attention and fully-connected layers to achieve low-latency sequential inference and scalability to large scenes. We propose a label-free active vision pretraining scheme, policy-agnostic passive-to-active dense latent distillation: reconstructing scene-wide DINOv3 embeddings from sequences of low-resolution glimpses with randomized locations, zoom levels, and lengths. We pretrain CanViT-B from a random initialization on 13.2 million ImageNet-21k scenes -- an order of magnitude more than previous active models -- and 1 billion random glimpses, in 166 hours on a single H100. On ADE20K segmentation, a frozen CanViT-B achieves 38.5% mIoU in a single low-resolution glimpse, outperforming the best active model's 27.6% with 19.5x fewer inference FLOPs and no fine-tuning, as well as its FLOP- or input-matched DINOv3 teacher. Given additional glimpses, CanViT-B reaches 45.9% ADE20K mIoU. On ImageNet-1k classification, CanViT-B reaches 81.2% top-1 accuracy with frozen teacher probes. CanViT generalizes to longer rollouts, larger scenes, and new policies. Our work closes the wide gap between passive and active vision on semantic segmentation and demonstrates the potential of AVFMs as a new research axis.