Trasformatore Convettivo a Insiemi

Abstract

Introduciamo il Convolutional Set Transformer (CST), una nuova architettura neurale progettata per elaborare insiemi di immagini di cardinalità arbitraria che sono visivamente eterogenei ma condividono una semantica di alto livello, come una categoria, una scena o un concetto comune. Le reti esistenti che accettano insiemi in input, ad esempio Deep Sets e Set Transformer, sono limitate a input vettoriali e non possono gestire direttamente tensori di immagini 3D. Di conseguenza, devono essere combinate con un estrattore di feature, tipicamente una CNN, che codifica le immagini in embedding prima che la rete a input di insieme possa modellare le relazioni inter-immagine. Al contrario, il CST opera direttamente su tensori di immagini 3D, eseguendo contemporaneamente l'estrazione di feature e la modellazione contestuale, consentendo così sinergie tra i due processi. Questo design offre prestazioni superiori in compiti come la Classificazione di Insiemi e il Rilevamento di Anomalie in Insiemi e fornisce inoltre una compatibilità nativa con metodi di spiegabilità delle CNN come Grad-CAM, a differenza degli approcci concorrenti che rimangono opachi. Infine, dimostriamo che i CST possono essere pre-addestrati su dataset su larga scala e successivamente adattati a nuovi domini e compiti attraverso schemi standard di Transfer Learning. Per supportare ulteriori ricerche, rilasciamo CST-15, un backbone CST pre-addestrato su ImageNet (https://github.com/chinefed/convolutional-set-transformer).

English

We introduce the Convolutional Set Transformer (CST), a novel neural architecture designed to process image sets of arbitrary cardinality that are visually heterogeneous yet share high-level semantics - such as a common category, scene, or concept. Existing set-input networks, e.g., Deep Sets and Set Transformer, are limited to vector inputs and cannot directly handle 3D image tensors. As a result, they must be cascaded with a feature extractor, typically a CNN, which encodes images into embeddings before the set-input network can model inter-image relationships. In contrast, CST operates directly on 3D image tensors, performing feature extraction and contextual modeling simultaneously, thereby enabling synergies between the two processes. This design yields superior performance in tasks such as Set Classification and Set Anomaly Detection and further provides native compatibility with CNN explainability methods such as Grad-CAM, unlike competing approaches that remain opaque. Finally, we show that CSTs can be pre-trained on large-scale datasets and subsequently adapted to new domains and tasks through standard Transfer Learning schemes. To support further research, we release CST-15, a CST backbone pre-trained on ImageNet (https://github.com/chinefed/convolutional-set-transformer).