AnomalyVFM -- Transformando Modelos de Fundação Visuais em Detectores de Anomalias Zero-Shot

AnomalyVFM -- Transforming Vision Foundation Models into Zero-Shot Anomaly Detectors

April 9, 2026

Autores: Matic Fučka, Vitjan Zavrtanik, Danijel Skočaj

cs.AI

Resumo

A detecção de anomalias zero-shot tem como objetivo detetar e localizar regiões anómalas numa imagem sem acesso a quaisquer imagens de treino do domínio. Embora as abordagens recentes aproveitem modelos visão-linguagem (VLM), como o CLIP, para transferir conhecimento de conceitos de alto nível, os métodos baseados puramente em modelos de base visuais (VFM), como o DINOv2, têm ficado atrás em desempenho. Argumentamos que esta lacuna decorre de dois problemas práticos: (i) diversidade limitada nos conjuntos de dados auxiliares de deteção de anomalias existentes e (ii) estratégias de adaptação de VFM excessivamente superficiais. Para enfrentar ambos os desafios, propomos o AnomalyVFM, uma estrutura geral e eficaz que transforma qualquer VFM pré-treinado num detetor de anomalias zero-shot robusto. A nossa abordagem combina um esquema robusto de geração de conjuntos de dados sintéticos em três estágios com um mecanismo de adaptação eficiente em parâmetros, utilizando adaptadores de características de baixo rank e uma perda de pixel ponderada por confiança. Em conjunto, estes componentes permitem que os VFM modernos superem substancialmente os métodos state-of-the-art atuais. Mais especificamente, com o RADIO como backbone, o AnomalyVFM alcança uma AUROC média a nível de imagem de 94,1% em 9 conjuntos de dados diversos, superando os métodos anteriores em significativos 3,3 pontos percentuais. Página do Projeto: https://maticfuc.github.io/anomaly_vfm/

English

Zero-shot anomaly detection aims to detect and localise abnormal regions in the image without access to any in-domain training images. While recent approaches leverage vision-language models (VLMs), such as CLIP, to transfer high-level concept knowledge, methods based on purely vision foundation models (VFMs), like DINOv2, have lagged behind in performance. We argue that this gap stems from two practical issues: (i) limited diversity in existing auxiliary anomaly detection datasets and (ii) overly shallow VFM adaptation strategies. To address both challenges, we propose AnomalyVFM, a general and effective framework that turns any pretrained VFM into a strong zero-shot anomaly detector. Our approach combines a robust three-stage synthetic dataset generation scheme with a parameter-efficient adaptation mechanism, utilising low-rank feature adapters and a confidence-weighted pixel loss. Together, these components enable modern VFMs to substantially outperform current state-of-the-art methods. More specifically, with RADIO as a backbone, AnomalyVFM achieves an average image-level AUROC of 94.1% across 9 diverse datasets, surpassing previous methods by significant 3.3 percentage points. Project Page: https://maticfuc.github.io/anomaly_vfm/