Transformateur d'Ensemble Convolutif

papers.abstract

Nous présentons le Convolutional Set Transformer (CST), une nouvelle architecture neuronale conçue pour traiter des ensembles d'images de cardinalité arbitraire qui sont visuellement hétérogènes mais partagent une sémantique de haut niveau - telle qu'une catégorie, une scène ou un concept commun. Les réseaux existants prenant des ensembles en entrée, par exemple Deep Sets et Set Transformer, sont limités à des entrées vectorielles et ne peuvent pas directement gérer des tenseurs d'images 3D. Par conséquent, ils doivent être combinés avec un extracteur de caractéristiques, généralement un CNN, qui encode les images en embeddings avant que le réseau prenant des ensembles en entrée puisse modéliser les relations inter-images. En revanche, le CST opère directement sur des tenseurs d'images 3D, effectuant simultanément l'extraction de caractéristiques et la modélisation contextuelle, permettant ainsi des synergies entre les deux processus. Cette conception offre des performances supérieures dans des tâches telles que la Classification d'Ensembles et la Détection d'Anomalies dans les Ensembles, et fournit en outre une compatibilité native avec les méthodes d'explicabilité des CNN telles que Grad-CAM, contrairement aux approches concurrentes qui restent opaques. Enfin, nous montrons que les CST peuvent être pré-entraînés sur des ensembles de données à grande échelle et ensuite adaptés à de nouveaux domaines et tâches grâce à des schémas standard de Transfer Learning. Pour soutenir la recherche future, nous publions CST-15, un backbone de CST pré-entraîné sur ImageNet (https://github.com/chinefed/convolutional-set-transformer).

English

We introduce the Convolutional Set Transformer (CST), a novel neural architecture designed to process image sets of arbitrary cardinality that are visually heterogeneous yet share high-level semantics - such as a common category, scene, or concept. Existing set-input networks, e.g., Deep Sets and Set Transformer, are limited to vector inputs and cannot directly handle 3D image tensors. As a result, they must be cascaded with a feature extractor, typically a CNN, which encodes images into embeddings before the set-input network can model inter-image relationships. In contrast, CST operates directly on 3D image tensors, performing feature extraction and contextual modeling simultaneously, thereby enabling synergies between the two processes. This design yields superior performance in tasks such as Set Classification and Set Anomaly Detection and further provides native compatibility with CNN explainability methods such as Grad-CAM, unlike competing approaches that remain opaque. Finally, we show that CSTs can be pre-trained on large-scale datasets and subsequently adapted to new domains and tasks through standard Transfer Learning schemes. To support further research, we release CST-15, a CST backbone pre-trained on ImageNet (https://github.com/chinefed/convolutional-set-transformer).