Transformador de Conjunto Convolucional

Resumen

Presentamos el Convolutional Set Transformer (CST), una novedosa arquitectura neuronal diseñada para procesar conjuntos de imágenes de cardinalidad arbitraria que son visualmente heterogéneos pero comparten semántica de alto nivel, como una categoría, escena o concepto común. Las redes existentes que aceptan conjuntos como entrada, por ejemplo, Deep Sets y Set Transformer, están limitadas a entradas vectoriales y no pueden manejar directamente tensores de imágenes 3D. Como resultado, deben combinarse con un extractor de características, típicamente una CNN, que codifica las imágenes en embeddings antes de que la red que acepta conjuntos pueda modelar las relaciones entre imágenes. En contraste, CST opera directamente sobre tensores de imágenes 3D, realizando la extracción de características y el modelado contextual de manera simultánea, lo que permite sinergias entre ambos procesos. Este diseño ofrece un rendimiento superior en tareas como Clasificación de Conjuntos y Detección de Anomalías en Conjuntos, además de proporcionar compatibilidad nativa con métodos de explicabilidad de CNN como Grad-CAM, a diferencia de enfoques competidores que permanecen opacos. Finalmente, demostramos que los CST pueden ser preentrenados en conjuntos de datos a gran escala y posteriormente adaptados a nuevos dominios y tareas mediante esquemas estándar de Transfer Learning. Para apoyar investigaciones futuras, publicamos CST-15, un backbone de CST preentrenado en ImageNet (https://github.com/chinefed/convolutional-set-transformer).

English

We introduce the Convolutional Set Transformer (CST), a novel neural architecture designed to process image sets of arbitrary cardinality that are visually heterogeneous yet share high-level semantics - such as a common category, scene, or concept. Existing set-input networks, e.g., Deep Sets and Set Transformer, are limited to vector inputs and cannot directly handle 3D image tensors. As a result, they must be cascaded with a feature extractor, typically a CNN, which encodes images into embeddings before the set-input network can model inter-image relationships. In contrast, CST operates directly on 3D image tensors, performing feature extraction and contextual modeling simultaneously, thereby enabling synergies between the two processes. This design yields superior performance in tasks such as Set Classification and Set Anomaly Detection and further provides native compatibility with CNN explainability methods such as Grad-CAM, unlike competing approaches that remain opaque. Finally, we show that CSTs can be pre-trained on large-scale datasets and subsequently adapted to new domains and tasks through standard Transfer Learning schemes. To support further research, we release CST-15, a CST backbone pre-trained on ImageNet (https://github.com/chinefed/convolutional-set-transformer).