Transformador Convolucional de Conjuntos

Resumo

Apresentamos o Convolutional Set Transformer (CST), uma nova arquitetura neural projetada para processar conjuntos de imagens de cardinalidade arbitrária que são visualmente heterogêneos, mas compartilham semânticas de alto nível - como uma categoria, cena ou conceito comum. As redes existentes que processam conjuntos, por exemplo, Deep Sets e Set Transformer, são limitadas a entradas vetoriais e não podem lidar diretamente com tensores de imagem 3D. Como resultado, elas precisam ser combinadas com um extrator de características, tipicamente uma CNN, que codifica as imagens em embeddings antes que a rede de conjunto possa modelar as relações entre as imagens. Em contraste, o CST opera diretamente em tensores de imagem 3D, realizando a extração de características e a modelagem contextual simultaneamente, permitindo assim sinergias entre os dois processos. Esse design resulta em desempenho superior em tarefas como Classificação de Conjuntos e Detecção de Anomalias em Conjuntos, além de fornecer compatibilidade nativa com métodos de explicabilidade de CNNs, como Grad-CAM, ao contrário de abordagens concorrentes que permanecem opacas. Por fim, demonstramos que os CSTs podem ser pré-treinados em grandes conjuntos de dados e posteriormente adaptados a novos domínios e tarefas por meio de esquemas padrão de Transfer Learning. Para apoiar pesquisas futuras, disponibilizamos o CST-15, um backbone de CST pré-treinado no ImageNet (https://github.com/chinefed/convolutional-set-transformer).

English

We introduce the Convolutional Set Transformer (CST), a novel neural architecture designed to process image sets of arbitrary cardinality that are visually heterogeneous yet share high-level semantics - such as a common category, scene, or concept. Existing set-input networks, e.g., Deep Sets and Set Transformer, are limited to vector inputs and cannot directly handle 3D image tensors. As a result, they must be cascaded with a feature extractor, typically a CNN, which encodes images into embeddings before the set-input network can model inter-image relationships. In contrast, CST operates directly on 3D image tensors, performing feature extraction and contextual modeling simultaneously, thereby enabling synergies between the two processes. This design yields superior performance in tasks such as Set Classification and Set Anomaly Detection and further provides native compatibility with CNN explainability methods such as Grad-CAM, unlike competing approaches that remain opaque. Finally, we show that CSTs can be pre-trained on large-scale datasets and subsequently adapted to new domains and tasks through standard Transfer Learning schemes. To support further research, we release CST-15, a CST backbone pre-trained on ImageNet (https://github.com/chinefed/convolutional-set-transformer).