CanViT: В сторону базовых моделей активного зрения

CanViT: Toward Active-Vision Foundation Models

March 23, 2026

Авторы: Yohaï-Eliel Berreby, Sabrina Du, Audrey Durand, B. Suresh Krishna

cs.AI

Аннотация

Активное компьютерное зрение обещает эффективное, биологически правдоподобное восприятие за счет последовательных локализованных "взглядов", но ему не хватает масштабируемых архитектур общего назначения и конвейеров предварительного обучения. В результате, фундаментальные модели активного зрения оставались неисследованными. Мы представляем CanViT — первую AVFM, не зависящую от конкретной задачи и политики обзора. CanViT использует позиционное кодирование, зависящее от сцены, для связывания ретинотопического бэкбона на основе Vision Transformer и сционотопического латентного рабочего пространства на всю сцену, называемого "холстом". Эффективное взаимодействие с этой высокопроизводительной рабочей памятью обеспечивается Canvas Attention — новым асимметричным механизмом перекрестного внимания. Мы разделяем "мышление" (уровень бэкбона) и "память" (уровень холста), устраняя самовнимание и полносвязные слои на стороне холста для достижения последовательного вывода с низкой задержкой и масштабируемости до больших сцен. Мы предлагаем схему предварительного обучения активному зрению без использования меток — агенто-независимую латентную дистилляцию от пассивного к активному: восстановление DINOv3-эмбеддингов на всю сцену из последовательностей низкоразрешающих "взглядов" со случайными локациями, уровнями масштабирования и длинами. Мы предварительно обучаем CanViT-B со случайной инициализации на 13.2 миллионах сцен ImageNet-21k — на порядок больше, чем предыдущие активные модели — и 1 миллиарде случайных "взглядов", за 166 часов на одном H100. На сегментации ADE20K замороженный CanViT-B достигает 38.5% mIoU за один низкоразрешающий "взгляд", превосходя результат лучшей активной модели (27.6%) при в 19.5 раз меньших FLOPs на выводе и без тонкой настройки, а также своего учителя DINOv3 при сопоставимых FLOPs или входных данных. При добавлении "взглядов" CanViT-B достигает 45.9% mIoU на ADE20K. На классификации ImageNet-1k CanViT-B достигает 81.2% точности top-1 с замороженными пробами учителя. CanViT обобщается на более длинные последовательности, большие сцены и новые политики обзора. Наша работа закрывает большой разрыв между пассивным и активным зрением в семантической сегментации и демонстрирует потенциал AVFM как нового направления исследований.

English

Active computer vision promises efficient, biologically plausible perception through sequential, localized glimpses, but lacks scalable general-purpose architectures and pretraining pipelines. As a result, Active-Vision Foundation Models (AVFMs) have remained unexplored. We introduce CanViT, the first task- and policy-agnostic AVFM. CanViT uses scene-relative RoPE to bind a retinotopic Vision Transformer backbone and a spatiotopic scene-wide latent workspace, the canvas. Efficient interaction with this high-capacity working memory is supported by Canvas Attention, a novel asymmetric cross-attention mechanism. We decouple thinking (backbone-level) and memory (canvas-level), eliminating canvas-side self-attention and fully-connected layers to achieve low-latency sequential inference and scalability to large scenes. We propose a label-free active vision pretraining scheme, policy-agnostic passive-to-active dense latent distillation: reconstructing scene-wide DINOv3 embeddings from sequences of low-resolution glimpses with randomized locations, zoom levels, and lengths. We pretrain CanViT-B from a random initialization on 13.2 million ImageNet-21k scenes -- an order of magnitude more than previous active models -- and 1 billion random glimpses, in 166 hours on a single H100. On ADE20K segmentation, a frozen CanViT-B achieves 38.5% mIoU in a single low-resolution glimpse, outperforming the best active model's 27.6% with 19.5x fewer inference FLOPs and no fine-tuning, as well as its FLOP- or input-matched DINOv3 teacher. Given additional glimpses, CanViT-B reaches 45.9% ADE20K mIoU. On ImageNet-1k classification, CanViT-B reaches 81.2% top-1 accuracy with frozen teacher probes. CanViT generalizes to longer rollouts, larger scenes, and new policies. Our work closes the wide gap between passive and active vision on semantic segmentation and demonstrates the potential of AVFMs as a new research axis.