MatchAnything: Universele Cross-Modaliteit Beeldmatching met Grootschalige Voorafgaande Training

MatchAnything: Universal Cross-Modality Image Matching with Large-Scale Pre-Training

January 13, 2025

Auteurs: Xingyi He, Hao Yu, Sida Peng, Dongli Tan, Zehong Shen, Hujun Bao, Xiaowei Zhou

cs.AI

Samenvatting

Beeldmatching, dat tot doel heeft overeenkomstige pixellocaties tussen afbeeldingen te identificeren, is cruciaal in een breed scala van wetenschappelijke disciplines, waarbij het helpt bij beeldregistratie, fusie en analyse. In de afgelopen jaren hebben op deep learning gebaseerde beeldmatchingalgoritmen aanzienlijk beter gepresteerd dan mensen in het snel en nauwkeurig vinden van grote hoeveelheden overeenkomsten. Echter, wanneer wordt omgegaan met afbeeldingen die zijn vastgelegd onder verschillende beeldvormende modaliteiten die leiden tot aanzienlijke uiterlijke veranderingen, verslechtert de prestatie van deze algoritmen vaak als gevolg van de schaarste aan geannoteerde cross-modale trainingsgegevens. Deze beperking belemmert toepassingen in verschillende vakgebieden die vertrouwen op meerdere beeldmodaliteiten om aanvullende informatie te verkrijgen. Om deze uitdaging aan te gaan, stellen we een grootschalig pre-trainingframework voor dat synthetische cross-modale trainingsignalen gebruikt, waarbij diverse gegevens uit verschillende bronnen worden geïncorporeerd om modellen te trainen om fundamentele structuren over afbeeldingen te herkennen en te matchen. Deze mogelijkheid is overdraagbaar naar echte, ongeziene cross-modale beeldmatchingtaken. Onze belangrijkste bevinding is dat het matchingmodel dat is getraind met ons framework opmerkelijke generaliseerbaarheid bereikt over meer dan acht ongeziene cross-modale registratietaken met behulp van hetzelfde netwerkgewicht, aanzienlijk beter presterend dan bestaande methoden, of deze nu zijn ontworpen voor generalisatie of op maat zijn gemaakt voor specifieke taken. Deze vooruitgang verbetert aanzienlijk de toepasbaarheid van beeldmatchingtechnologieën over verschillende wetenschappelijke disciplines en legt de weg vrij voor nieuwe toepassingen in multi-modaliteit menselijke en kunstmatige intelligentieanalyse en verder.

English

Image matching, which aims to identify corresponding pixel locations between images, is crucial in a wide range of scientific disciplines, aiding in image registration, fusion, and analysis. In recent years, deep learning-based image matching algorithms have dramatically outperformed humans in rapidly and accurately finding large amounts of correspondences. However, when dealing with images captured under different imaging modalities that result in significant appearance changes, the performance of these algorithms often deteriorates due to the scarcity of annotated cross-modal training data. This limitation hinders applications in various fields that rely on multiple image modalities to obtain complementary information. To address this challenge, we propose a large-scale pre-training framework that utilizes synthetic cross-modal training signals, incorporating diverse data from various sources, to train models to recognize and match fundamental structures across images. This capability is transferable to real-world, unseen cross-modality image matching tasks. Our key finding is that the matching model trained with our framework achieves remarkable generalizability across more than eight unseen cross-modality registration tasks using the same network weight, substantially outperforming existing methods, whether designed for generalization or tailored for specific tasks. This advancement significantly enhances the applicability of image matching technologies across various scientific disciplines and paves the way for new applications in multi-modality human and artificial intelligence analysis and beyond.