Verbesserte OoD-Erkennung durch cross-modale Ausrichtung multimodaler Repräsentationen

Enhanced OoD Detection through Cross-Modal Alignment of Multi-Modal Representations

March 24, 2025

Autoren: Jeonghyeon Kim, Sangheum Hwang

cs.AI

Zusammenfassung

Frühere Forschungen zur Erkennung von Out-of-Distribution-Daten (OoDD) konzentrierten sich hauptsächlich auf Einzelmodalitätsmodelle. In jüngster Zeit sind mit der Einführung großskaliger vortrainierter Vision-Sprache-Modelle wie CLIP OoDD-Methoden entstanden, die solche multimodalen Repräsentationen durch Zero-Shot- und Prompt-Learning-Strategien nutzen. Diese Methoden beinhalten jedoch typischerweise entweder das Einfrieren der vortrainierten Gewichte oder nur eine teilweise Anpassung, was für nachgelagerte Datensätze suboptimal sein kann. In diesem Artikel zeigen wir auf, dass multimodales Fine-Tuning (MMFT) eine bemerkenswerte OoDD-Leistung erzielen kann. Obwohl einige aktuelle Arbeiten die Auswirkungen von Fine-Tuning-Methoden auf OoDD demonstrieren, besteht weiterhin erhebliches Potenzial für Leistungsverbesserungen. Wir untersuchen die Grenzen naiver Fine-Tuning-Methoden und analysieren, warum sie das vortrainierte Wissen nicht vollständig nutzen. Unsere empirische Analyse legt nahe, dass dieses Problem aus der Modallitätslücke innerhalb der In-Distribution (ID)-Einbettungen resultieren könnte. Um dies zu adressieren, schlagen wir ein Trainingsziel vor, das die cross-modale Ausrichtung verbessert, indem die Abstände zwischen Bild- und Texteinbettungen von ID-Daten regularisiert werden. Diese Anpassung hilft dabei, vortrainierte textuelle Informationen besser zu nutzen, indem ähnliche Semantiken aus verschiedenen Modalitäten (d. h. Text und Bild) im hypersphärischen Repräsentationsraum enger ausgerichtet werden. Wir zeigen theoretisch, dass die vorgeschlagene Regularisierung der Maximum-Likelihood-Schätzung eines energiebasierten Modells auf einer Hypersphäre entspricht. Unter Verwendung von ImageNet-1k-OoD-Benchmark-Datensätzen demonstrieren wir, dass unsere Methode in Kombination mit post-hoc-OoDD-Ansätzen, die vortrainiertes Wissen nutzen (z. B. NegLabel), bestehende Methoden deutlich übertrifft und state-of-the-art OoDD-Leistung sowie führende ID-Genauigkeit erreicht.

English

Prior research on out-of-distribution detection (OoDD) has primarily focused on single-modality models. Recently, with the advent of large-scale pretrained vision-language models such as CLIP, OoDD methods utilizing such multi-modal representations through zero-shot and prompt learning strategies have emerged. However, these methods typically involve either freezing the pretrained weights or only partially tuning them, which can be suboptimal for downstream datasets. In this paper, we highlight that multi-modal fine-tuning (MMFT) can achieve notable OoDD performance. Despite some recent works demonstrating the impact of fine-tuning methods for OoDD, there remains significant potential for performance improvement. We investigate the limitation of na\"ive fine-tuning methods, examining why they fail to fully leverage the pretrained knowledge. Our empirical analysis suggests that this issue could stem from the modality gap within in-distribution (ID) embeddings. To address this, we propose a training objective that enhances cross-modal alignment by regularizing the distances between image and text embeddings of ID data. This adjustment helps in better utilizing pretrained textual information by aligning similar semantics from different modalities (i.e., text and image) more closely in the hyperspherical representation space. We theoretically demonstrate that the proposed regularization corresponds to the maximum likelihood estimation of an energy-based model on a hypersphere. Utilizing ImageNet-1k OoD benchmark datasets, we show that our method, combined with post-hoc OoDD approaches leveraging pretrained knowledge (e.g., NegLabel), significantly outperforms existing methods, achieving state-of-the-art OoDD performance and leading ID accuracy.