VIBE: Sprachinduzierte offene Biasbewertung für große Audio-Sprachmodelle mittels realer Sprachdaten

Zusammenfassung

Große Audio-Sprachmodelle (Large Audio-Language Models, LALMs) werden zunehmend in alltägliche Anwendungen integriert, dennoch sind ihre generativen Verzerrungen noch wenig erforscht. Bestehende Sprachfairness-Benchmarks basieren auf synthetischer Sprache und Multiple-Choice-Fragen (MCQs), die beide eine fragmentierte Sicht auf Fairness bieten. Wir stellen VIBE vor, ein Framework, das generative Verzerrungen durch offene Aufgaben wie personalisierte Empfehlungen unter Verwendung menschlich aufgenommener Sprache evaluiert. Im Gegensatz zu MCQs ermöglicht unsere Methode, dass stereotype Assoziationen ohne vorgegebene Optionen organisch auftreten, was sie leicht auf neue Aufgaben erweiterbar macht. Die Evaluierung von 12 modernsten LALMs zeigt systematische Verzerrungen in realistischen Szenarien. Sowohl Geschlechts- als auch Akzenthinweise lösen statistisch signifikante Verteilungsverschiebungen aus, und das Ausmaß der Verzerrung ist stark aufgabenabhängig.

English

Large Audio-Language Models (LALMs) are increasingly integrated into daily applications, yet their generative biases remain underexplored. Existing speech fairness benchmarks rely on synthetic speech and Multiple-Choice Questions (MCQs), both offering a fragmented view of fairness. We propose VIBE, a framework that evaluates generative bias through open-ended tasks such as personalized recommendations, using human-recorded speech. Unlike MCQs, our method allows stereotypical associations to manifest organically without predefined options, making it easily extensible to new tasks. Evaluating 12 state-of-the-art LALMs reveals systematic biases in realistic scenarios. Both gender and accent cues trigger statistically significant distributional shifts, and bias magnitude is strongly task-dependent.