Naar Cross-Lingual Audio Misbruikdetectie in Omgevingen met Weinig Middelen met Few-Shot Leren

Towards Cross-Lingual Audio Abuse Detection in Low-Resource Settings with Few-Shot Learning

December 2, 2024

Auteurs: Aditya Narayan Sankaran, Reza Farahbaksh, Noel Crespi

cs.AI

Samenvatting

Het detecteren van online misbruikende inhoud, met name in omgevingen met beperkte middelen en binnen de audio-modaliteit, blijft onderbelicht. We onderzoeken het potentieel van vooraf getrainde audiorepresentaties voor het detecteren van misbruikende taal in talen met beperkte middelen, in dit geval in Indiase talen met behulp van Few Shot Learning (FSL). Door gebruik te maken van krachtige representaties van modellen zoals Wav2Vec en Whisper, verkennen we cross-linguale misbruikdetectie met behulp van de ADIMA-dataset met FSL. Onze aanpak integreert deze representaties binnen het Model-Agnostic Meta-Learning (MAML) kader om misbruikende taal te classificeren in 10 talen. We experimenteren met verschillende shot-groottes (50-200) en evalueren de impact van beperkte gegevens op de prestaties. Daarnaast werd een studie naar feature visualisatie uitgevoerd om het gedrag van het model beter te begrijpen. Deze studie benadrukt het generalisatievermogen van vooraf getrainde modellen in omgevingen met beperkte middelen en biedt waardevolle inzichten in het detecteren van misbruikende taal in meertalige contexten.

English

Online abusive content detection, particularly in low-resource settings and within the audio modality, remains underexplored. We investigate the potential of pre-trained audio representations for detecting abusive language in low-resource languages, in this case, in Indian languages using Few Shot Learning (FSL). Leveraging powerful representations from models such as Wav2Vec and Whisper, we explore cross-lingual abuse detection using the ADIMA dataset with FSL. Our approach integrates these representations within the Model-Agnostic Meta-Learning (MAML) framework to classify abusive language in 10 languages. We experiment with various shot sizes (50-200) evaluating the impact of limited data on performance. Additionally, a feature visualization study was conducted to better understand model behaviour. This study highlights the generalization ability of pre-trained models in low-resource scenarios and offers valuable insights into detecting abusive language in multilingual contexts.