Detección Mejorada de OoD mediante Alineación Intermodal de Representaciones Multimodales

Enhanced OoD Detection through Cross-Modal Alignment of Multi-Modal Representations

March 24, 2025

Autores: Jeonghyeon Kim, Sangheum Hwang

cs.AI

Resumen

Investigaciones previas sobre detección fuera de distribución (OoDD, por sus siglas en inglés) se han centrado principalmente en modelos de una sola modalidad. Recientemente, con el surgimiento de modelos de visión-lenguaje preentrenados a gran escala como CLIP, han emergido métodos de OoDD que utilizan representaciones multimodales a través de estrategias de aprendizaje zero-shot y basado en prompts. Sin embargo, estos métodos generalmente implican congelar los pesos preentrenados o ajustarlos solo parcialmente, lo que puede ser subóptimo para conjuntos de datos específicos. En este artículo, destacamos que el ajuste fino multimodal (MMFT, por sus siglas en inglés) puede lograr un rendimiento notable en OoDD. A pesar de que algunos trabajos recientes han demostrado el impacto de los métodos de ajuste fino en OoDD, aún existe un potencial significativo para mejorar el rendimiento. Investigamos las limitaciones de los métodos de ajuste fino ingenuos, examinando por qué no logran aprovechar completamente el conocimiento preentrenado. Nuestro análisis empírico sugiere que este problema podría originarse en la brecha modal dentro de las incrustaciones de datos en distribución (ID, por sus siglas en inglés). Para abordar esto, proponemos un objetivo de entrenamiento que mejora la alineación multimodal mediante la regularización de las distancias entre las incrustaciones de imágenes y texto de los datos ID. Este ajuste ayuda a utilizar mejor la información textual preentrenada al alinear semánticas similares de diferentes modalidades (es decir, texto e imagen) más estrechamente en el espacio de representación hiperesférico. Teóricamente demostramos que la regularización propuesta corresponde a la estimación de máxima verosimilitud de un modelo basado en energía en una hiperesfera. Utilizando conjuntos de datos de referencia OoD de ImageNet-1k, mostramos que nuestro método, combinado con enfoques OoDD post-hoc que aprovechan el conocimiento preentrenado (por ejemplo, NegLabel), supera significativamente a los métodos existentes, logrando un rendimiento de vanguardia en OoDD y una precisión líder en ID.

English

Prior research on out-of-distribution detection (OoDD) has primarily focused on single-modality models. Recently, with the advent of large-scale pretrained vision-language models such as CLIP, OoDD methods utilizing such multi-modal representations through zero-shot and prompt learning strategies have emerged. However, these methods typically involve either freezing the pretrained weights or only partially tuning them, which can be suboptimal for downstream datasets. In this paper, we highlight that multi-modal fine-tuning (MMFT) can achieve notable OoDD performance. Despite some recent works demonstrating the impact of fine-tuning methods for OoDD, there remains significant potential for performance improvement. We investigate the limitation of na\"ive fine-tuning methods, examining why they fail to fully leverage the pretrained knowledge. Our empirical analysis suggests that this issue could stem from the modality gap within in-distribution (ID) embeddings. To address this, we propose a training objective that enhances cross-modal alignment by regularizing the distances between image and text embeddings of ID data. This adjustment helps in better utilizing pretrained textual information by aligning similar semantics from different modalities (i.e., text and image) more closely in the hyperspherical representation space. We theoretically demonstrate that the proposed regularization corresponds to the maximum likelihood estimation of an energy-based model on a hypersphere. Utilizing ImageNet-1k OoD benchmark datasets, we show that our method, combined with post-hoc OoDD approaches leveraging pretrained knowledge (e.g., NegLabel), significantly outperforms existing methods, achieving state-of-the-art OoDD performance and leading ID accuracy.