Сверточный сетевой трансформер

Аннотация

Мы представляем Сверточный Трансформер для Множеств (Convolutional Set Transformer, CST) — новую нейронную архитектуру, разработанную для обработки наборов изображений произвольной мощности, которые визуально разнородны, но обладают общими высокоуровневыми семантическими признаками, такими как общая категория, сцена или концепция. Существующие сети для обработки множеств, например, Deep Sets и Set Transformer, ограничены векторными входными данными и не могут напрямую работать с трехмерными тензорами изображений. В результате их необходимо комбинировать с экстрактором признаков, обычно сверточной нейронной сетью (CNN), которая кодирует изображения в эмбеддинги, прежде чем сеть для обработки множеств сможет моделировать взаимосвязи между изображениями. В отличие от них, CST работает непосредственно с трехмерными тензорами изображений, одновременно выполняя извлечение признаков и контекстное моделирование, что позволяет достичь синергии между этими процессами. Такая конструкция обеспечивает превосходную производительность в задачах, таких как классификация множеств и обнаружение аномалий в множествах, а также обеспечивает совместимость с методами объяснимости CNN, такими как Grad-CAM, в отличие от конкурирующих подходов, которые остаются непрозрачными. Наконец, мы показываем, что CST можно предварительно обучать на крупномасштабных наборах данных, а затем адаптировать к новым доменам и задачам с помощью стандартных схем трансферного обучения. Для поддержки дальнейших исследований мы публикуем CST-15 — предварительно обученную на ImageNet архитектуру CST (https://github.com/chinefed/convolutional-set-transformer).

English

We introduce the Convolutional Set Transformer (CST), a novel neural architecture designed to process image sets of arbitrary cardinality that are visually heterogeneous yet share high-level semantics - such as a common category, scene, or concept. Existing set-input networks, e.g., Deep Sets and Set Transformer, are limited to vector inputs and cannot directly handle 3D image tensors. As a result, they must be cascaded with a feature extractor, typically a CNN, which encodes images into embeddings before the set-input network can model inter-image relationships. In contrast, CST operates directly on 3D image tensors, performing feature extraction and contextual modeling simultaneously, thereby enabling synergies between the two processes. This design yields superior performance in tasks such as Set Classification and Set Anomaly Detection and further provides native compatibility with CNN explainability methods such as Grad-CAM, unlike competing approaches that remain opaque. Finally, we show that CSTs can be pre-trained on large-scale datasets and subsequently adapted to new domains and tasks through standard Transfer Learning schemes. To support further research, we release CST-15, a CST backbone pre-trained on ImageNet (https://github.com/chinefed/convolutional-set-transformer).