Convolutionele Set Transformer

Samenvatting

We introduceren de Convolutional Set Transformer (CST), een nieuwe neurale architectuur ontworpen om afbeeldingssets van willekeurige grootte te verwerken die visueel heterogeen zijn maar hoogwaardige semantiek delen - zoals een gemeenschappelijke categorie, scène of concept. Bestaande netwerken voor set-input, zoals Deep Sets en Set Transformer, zijn beperkt tot vectorinputs en kunnen niet direct omgaan met 3D-afbeeldingstensors. Als gevolg hiervan moeten ze worden gekoppeld aan een feature extractor, meestal een CNN, die afbeeldingen codeert in embeddings voordat het set-input netwerk inter-afbeeldingsrelaties kan modelleren. In tegenstelling hiermee werkt CST direct op 3D-afbeeldingstensors, waarbij het feature extractie en contextuele modellering gelijktijdig uitvoert, waardoor synergieën tussen deze twee processen mogelijk worden. Dit ontwerp levert superieure prestaties op in taken zoals Set Classificatie en Set Anomalie Detectie en biedt bovendien native compatibiliteit met CNN-verklaarbaarheidsmethoden zoals Grad-CAM, in tegenstelling tot concurrerende benaderingen die ondoorzichtig blijven. Tot slot laten we zien dat CST's kunnen worden voorgetraind op grootschalige datasets en vervolgens kunnen worden aangepast aan nieuwe domeinen en taken via standaard Transfer Learning schema's. Om verder onderzoek te ondersteunen, brengen we CST-15 uit, een CST-backbone voorgetraind op ImageNet (https://github.com/chinefed/convolutional-set-transformer).

English

We introduce the Convolutional Set Transformer (CST), a novel neural architecture designed to process image sets of arbitrary cardinality that are visually heterogeneous yet share high-level semantics - such as a common category, scene, or concept. Existing set-input networks, e.g., Deep Sets and Set Transformer, are limited to vector inputs and cannot directly handle 3D image tensors. As a result, they must be cascaded with a feature extractor, typically a CNN, which encodes images into embeddings before the set-input network can model inter-image relationships. In contrast, CST operates directly on 3D image tensors, performing feature extraction and contextual modeling simultaneously, thereby enabling synergies between the two processes. This design yields superior performance in tasks such as Set Classification and Set Anomaly Detection and further provides native compatibility with CNN explainability methods such as Grad-CAM, unlike competing approaches that remain opaque. Finally, we show that CSTs can be pre-trained on large-scale datasets and subsequently adapted to new domains and tasks through standard Transfer Learning schemes. To support further research, we release CST-15, a CST backbone pre-trained on ImageNet (https://github.com/chinefed/convolutional-set-transformer).