Detección y Mitigación de Alucinaciones en Whisper mediante Dirección de Representaciones Ocultas y Autoencoders Dispersos

Resumen

Whisper, un modelo de ASR ampliamente adoptado, es conocido por sufrir alucinaciones: transcripciones coherentes generadas para audio sin habla que están completamente desconectadas de la entrada. Investigamos si las alucinaciones pueden detectarse y mitigarse a través de las representaciones internas de Whisper. Extraemos las activaciones del codificador de audio y evaluamos dos espacios de representación: las activaciones brutas de Whisper y los latentes del Autoencoder Disperso (SAE). Mostramos que ambos espacios codifican información relacionada con alucinaciones linealmente separable, con poder discriminativo concentrado en un subconjunto disperso de características y aumentando hacia las capas más profundas del codificador. Proponemos dos estrategias de dirección: dirección en el espacio de activaciones y dirección en el espacio latente de SAE. La dirección basada en SAE reduce la tasa de alucinación del 72.63% al 14.11% para Whisper small y del 86.88% al 27.33% para Whisper large-v3 en el conjunto de prueba completo sin habla, con una pequeña degradación de WER en datos de habla, acercándose al rendimiento de los métodos basados en ajuste fino.

English

Whisper, a widely adopted ASR model, is known to suffer from hallucinations - coherent transcriptions generated for non-speech audio entirely disconnected from the input. We investigate whether hallucinations can be detected and mitigated through Whisper's internal representations. We extract audio encoder activations and evaluate two representation spaces: raw Whisper activations and Sparse AutoEncoder (SAE) latents. We show that both spaces encode linearly separable hallucination-related information, with discriminative power concentrated in a sparse feature subset and increasing toward deeper encoder layers. We propose two steering strategies: activation-space steering and SAE latent-space steering. SAE-based steering reduces hallucination rate from 72.63% to 14.11% for Whisper small and from 86.88% to 27.33% for Whisper large-v3 on the full non-speech test set, with small WER degradation on speech data, approaching the performance of fine-tuning-based methods.