RealHarm: Eine Sammlung realer Anwendungsfehler von Sprachmodellen

RealHarm: A Collection of Real-World Language Model Application Failures

April 14, 2025

Autoren: Pierre Le Jeune, Jiaen Liu, Luca Rossi, Matteo Dora

cs.AI

Zusammenfassung

Der Einsatz von Sprachmodellen in Anwendungen für Endverbraucher birgt zahlreiche Risiken. Während bestehende Forschung zu Schäden und Gefahren solcher Anwendungen überwiegend top-down-Ansätze verfolgt, die sich aus regulatorischen Rahmenwerken und theoretischen Analysen ableiten, bleibt die empirische Evidenz für reale Fehlermodi weitgehend unerforscht. In dieser Arbeit stellen wir RealHarm vor, einen Datensatz annotierter problematischer Interaktionen mit KI-Agenten, der auf einer systematischen Auswertung öffentlich gemeldeter Vorfälle basiert. Bei der Analyse von Schäden, Ursachen und Gefahren speziell aus der Perspektive der Anbieter stellen wir fest, dass Reputationsschäden den vorherrschenden organisatorischen Schaden darstellen, während Fehlinformationen die häufigste Gefahrenkategorie bilden. Wir evaluieren empirisch state-of-the-art Schutzmechanismen und Inhaltsmoderationssysteme, um zu untersuchen, ob solche Systeme die Vorfälle hätten verhindern können, und decken dabei eine erhebliche Lücke im Schutz von KI-Anwendungen auf.

English

Language model deployments in consumer-facing applications introduce numerous risks. While existing research on harms and hazards of such applications follows top-down approaches derived from regulatory frameworks and theoretical analyses, empirical evidence of real-world failure modes remains underexplored. In this work, we introduce RealHarm, a dataset of annotated problematic interactions with AI agents built from a systematic review of publicly reported incidents. Analyzing harms, causes, and hazards specifically from the deployer's perspective, we find that reputational damage constitutes the predominant organizational harm, while misinformation emerges as the most common hazard category. We empirically evaluate state-of-the-art guardrails and content moderation systems to probe whether such systems would have prevented the incidents, revealing a significant gap in the protection of AI applications.