Détection améliorée des données hors distribution par alignement intermodal des représentations multimodales

Enhanced OoD Detection through Cross-Modal Alignment of Multi-Modal Representations

March 24, 2025

Auteurs: Jeonghyeon Kim, Sangheum Hwang

cs.AI

Résumé

Les recherches antérieures sur la détection hors distribution (OoDD) se sont principalement concentrées sur des modèles unimodaux. Récemment, avec l'avènement de modèles vision-langage pré-entraînés à grande échelle tels que CLIP, des méthodes OoDD exploitant ces représentations multimodales à travers des stratégies d'apprentissage zero-shot et par prompts ont émergé. Cependant, ces méthodes impliquent généralement soit de figer les poids pré-entraînés, soit de ne les ajuster que partiellement, ce qui peut être sous-optimal pour les ensembles de données en aval. Dans cet article, nous soulignons que le fine-tuning multimodal (MMFT) peut atteindre des performances notables en OoDD. Bien que certains travaux récents aient démontré l'impact des méthodes de fine-tuning pour l'OoDD, il reste un potentiel significatif d'amélioration des performances. Nous étudions les limites des méthodes de fine-tuning naïves, en examinant pourquoi elles ne parviennent pas à exploiter pleinement les connaissances pré-entraînées. Notre analyse empirique suggère que ce problème pourrait provenir de l'écart modal au sein des embeddings en distribution (ID). Pour y remédier, nous proposons un objectif d'entraînement qui améliore l'alignement intermodal en régularisant les distances entre les embeddings d'images et de textes des données ID. Cet ajustement permet de mieux exploiter les informations textuelles pré-entraînées en alignant plus étroitement les sémantiques similaires provenant de différentes modalités (c'est-à-dire le texte et l'image) dans l'espace de représentation hypersphérique. Nous démontrons théoriquement que la régularisation proposée correspond à l'estimation du maximum de vraisemblance d'un modèle basé sur l'énergie sur une hypersphère. En utilisant les ensembles de données de référence OoD d'ImageNet-1k, nous montrons que notre méthode, combinée à des approches OoDD post-hoc exploitant les connaissances pré-entraînées (par exemple, NegLabel), surpasse significativement les méthodes existantes, atteignant des performances OoDD de pointe et une précision ID leader.

English

Prior research on out-of-distribution detection (OoDD) has primarily focused on single-modality models. Recently, with the advent of large-scale pretrained vision-language models such as CLIP, OoDD methods utilizing such multi-modal representations through zero-shot and prompt learning strategies have emerged. However, these methods typically involve either freezing the pretrained weights or only partially tuning them, which can be suboptimal for downstream datasets. In this paper, we highlight that multi-modal fine-tuning (MMFT) can achieve notable OoDD performance. Despite some recent works demonstrating the impact of fine-tuning methods for OoDD, there remains significant potential for performance improvement. We investigate the limitation of na\"ive fine-tuning methods, examining why they fail to fully leverage the pretrained knowledge. Our empirical analysis suggests that this issue could stem from the modality gap within in-distribution (ID) embeddings. To address this, we propose a training objective that enhances cross-modal alignment by regularizing the distances between image and text embeddings of ID data. This adjustment helps in better utilizing pretrained textual information by aligning similar semantics from different modalities (i.e., text and image) more closely in the hyperspherical representation space. We theoretically demonstrate that the proposed regularization corresponds to the maximum likelihood estimation of an energy-based model on a hypersphere. Utilizing ImageNet-1k OoD benchmark datasets, we show that our method, combined with post-hoc OoDD approaches leveraging pretrained knowledge (e.g., NegLabel), significantly outperforms existing methods, achieving state-of-the-art OoDD performance and leading ID accuracy.