MatchAnything: Coincidencia universal de imágenes entre modalidades con preentrenamiento a gran escala

MatchAnything: Universal Cross-Modality Image Matching with Large-Scale Pre-Training

January 13, 2025

Autores: Xingyi He, Hao Yu, Sida Peng, Dongli Tan, Zehong Shen, Hujun Bao, Xiaowei Zhou

cs.AI

Resumen

La correspondencia de imágenes, que tiene como objetivo identificar ubicaciones de píxeles correspondientes entre imágenes, es crucial en una amplia gama de disciplinas científicas, ayudando en el registro, fusión y análisis de imágenes. En los últimos años, los algoritmos de correspondencia de imágenes basados en aprendizaje profundo han superado drásticamente a los humanos al encontrar rápidamente y con precisión grandes cantidades de correspondencias. Sin embargo, al tratar con imágenes capturadas bajo diferentes modalidades de imagen que resultan en cambios significativos en la apariencia, el rendimiento de estos algoritmos a menudo se deteriora debido a la escasez de datos de entrenamiento anotados cruzados modales. Esta limitación obstaculiza aplicaciones en varios campos que dependen de múltiples modalidades de imagen para obtener información complementaria. Para abordar este desafío, proponemos un marco de pre-entrenamiento a gran escala que utiliza señales de entrenamiento sintéticas cruzadas modales, incorporando datos diversos de diversas fuentes, para entrenar modelos para reconocer y emparejar estructuras fundamentales entre imágenes. Esta capacidad es transferible a tareas de emparejamiento de imágenes cruzadas de modalidad no vistas en el mundo real. Nuestro hallazgo clave es que el modelo de emparejamiento entrenado con nuestro marco logra una notable generalización en más de ocho tareas de registro de modalidad cruzada no vistas utilizando el mismo peso de red, superando sustancialmente a los métodos existentes, ya sea diseñados para generalización o adaptados para tareas específicas. Este avance mejora significativamente la aplicabilidad de las tecnologías de emparejamiento de imágenes en diversas disciplinas científicas y allana el camino para nuevas aplicaciones en análisis de inteligencia humana y artificial de múltiples modalidades y más allá.

English

Image matching, which aims to identify corresponding pixel locations between images, is crucial in a wide range of scientific disciplines, aiding in image registration, fusion, and analysis. In recent years, deep learning-based image matching algorithms have dramatically outperformed humans in rapidly and accurately finding large amounts of correspondences. However, when dealing with images captured under different imaging modalities that result in significant appearance changes, the performance of these algorithms often deteriorates due to the scarcity of annotated cross-modal training data. This limitation hinders applications in various fields that rely on multiple image modalities to obtain complementary information. To address this challenge, we propose a large-scale pre-training framework that utilizes synthetic cross-modal training signals, incorporating diverse data from various sources, to train models to recognize and match fundamental structures across images. This capability is transferable to real-world, unseen cross-modality image matching tasks. Our key finding is that the matching model trained with our framework achieves remarkable generalizability across more than eight unseen cross-modality registration tasks using the same network weight, substantially outperforming existing methods, whether designed for generalization or tailored for specific tasks. This advancement significantly enhances the applicability of image matching technologies across various scientific disciplines and paves the way for new applications in multi-modality human and artificial intelligence analysis and beyond.