Faltungs-Set-Transformer

papers.abstract

Wir stellen den Convolutional Set Transformer (CST) vor, eine neuartige neuronale Architektur, die entwickelt wurde, um Bildmengen beliebiger Kardinalität zu verarbeiten, die visuell heterogen sind, aber gemeinsame hochlevelige Semantik aufweisen – wie beispielsweise eine gemeinsame Kategorie, Szene oder ein Konzept. Bestehende Netzwerke für Mengeneingaben, z. B. Deep Sets und Set Transformer, sind auf Vektoreingaben beschränkt und können 3D-Bildtensoren nicht direkt verarbeiten. Folglich müssen sie mit einem Merkmalsextraktor, typischerweise einem CNN, kombiniert werden, der Bilder in Einbettungen kodiert, bevor das Mengeneingabenetzwerk Beziehungen zwischen den Bildern modellieren kann. Im Gegensatz dazu arbeitet CST direkt auf 3D-Bildtensoren und führt Merkmalsextraktion und kontextuelle Modellierung gleichzeitig durch, wodurch Synergien zwischen diesen beiden Prozessen ermöglicht werden. Dieses Design führt zu überlegener Leistung in Aufgaben wie Mengenklassifikation und Mengenanomalieerkennung und bietet zudem native Kompatibilität mit CNN-Erklärbarkeitsmethoden wie Grad-CAM, im Gegensatz zu konkurrierenden Ansätzen, die undurchsichtig bleiben. Schließlich zeigen wir, dass CSTs auf groß angelegten Datensätzen vortrainiert und anschließend durch standardmäßige Transfer-Learning-Schemata an neue Domänen und Aufgaben angepasst werden können. Um die weitere Forschung zu unterstützen, veröffentlichen wir CST-15, ein auf ImageNet vortrainiertes CST-Backbone (https://github.com/chinefed/convolutional-set-transformer).

English

We introduce the Convolutional Set Transformer (CST), a novel neural architecture designed to process image sets of arbitrary cardinality that are visually heterogeneous yet share high-level semantics - such as a common category, scene, or concept. Existing set-input networks, e.g., Deep Sets and Set Transformer, are limited to vector inputs and cannot directly handle 3D image tensors. As a result, they must be cascaded with a feature extractor, typically a CNN, which encodes images into embeddings before the set-input network can model inter-image relationships. In contrast, CST operates directly on 3D image tensors, performing feature extraction and contextual modeling simultaneously, thereby enabling synergies between the two processes. This design yields superior performance in tasks such as Set Classification and Set Anomaly Detection and further provides native compatibility with CNN explainability methods such as Grad-CAM, unlike competing approaches that remain opaque. Finally, we show that CSTs can be pre-trained on large-scale datasets and subsequently adapted to new domains and tasks through standard Transfer Learning schemes. To support further research, we release CST-15, a CST backbone pre-trained on ImageNet (https://github.com/chinefed/convolutional-set-transformer).