Kontextualisierte Gegenrede: Strategien zur Anpassung, Personalisierung und Bewertung

Contextualized Counterspeech: Strategies for Adaptation, Personalization, and Evaluation

December 10, 2024

Autoren: Lorenzo Cima, Alessio Miaschi, Amaury Trujillo, Marco Avvenuti, Felice Dell'Orletta, Stefano Cresci

cs.AI

Zusammenfassung

KI-generierter Gegenrede bietet eine vielversprechende und skalierbare Strategie, um Online-Toxizität durch direkte Antworten einzudämmen, die einen zivilen Diskurs fördern. Allerdings ist die aktuelle Gegenrede Einheitsgröße und passt nicht zur Moderationskontext und den beteiligten Benutzern. Wir schlagen mehrere Strategien zur Generierung maßgeschneiderter Gegenrede vor, die an den Moderationskontext angepasst und personalisiert für den moderierten Benutzer ist. Wir weisen einem LLaMA2-13B-Modell an, Gegenrede zu generieren, indem wir mit verschiedenen Konfigurationen basierend auf unterschiedlichen Kontextinformationen und Feinabstimmungsstrategien experimentieren. Wir identifizieren die Konfigurationen, die über eine Kombination von quantitativen Indikatoren und menschlichen Bewertungen, die über ein vorregistriertes Mixed-Design-Crowdsourcing-Experiment gesammelt wurden, überzeugende Gegenrede generieren. Die Ergebnisse zeigen, dass kontextualisierte Gegenrede die generische Gegenrede auf dem neuesten Stand der Technik in Bezug auf Angemessenheit und Überzeugungskraft signifikant übertreffen kann, ohne andere Eigenschaften zu beeinträchtigen. Unsere Ergebnisse zeigen auch eine schlechte Korrelation zwischen quantitativen Indikatoren und menschlichen Bewertungen auf, was darauf hindeutet, dass diese Methoden unterschiedliche Aspekte bewerten und die Notwendigkeit nuancierter Bewertungsmethoden hervorheben. Die Wirksamkeit von kontextualisierter KI-generierter Gegenrede und die Diskrepanz zwischen menschlichen und algorithmischen Bewertungen unterstreichen die Bedeutung einer verstärkten Zusammenarbeit zwischen Mensch und KI in der Inhaltsmoderation.

English

AI-generated counterspeech offers a promising and scalable strategy to curb online toxicity through direct replies that promote civil discourse. However, current counterspeech is one-size-fits-all, lacking adaptation to the moderation context and the users involved. We propose and evaluate multiple strategies for generating tailored counterspeech that is adapted to the moderation context and personalized for the moderated user. We instruct an LLaMA2-13B model to generate counterspeech, experimenting with various configurations based on different contextual information and fine-tuning strategies. We identify the configurations that generate persuasive counterspeech through a combination of quantitative indicators and human evaluations collected via a pre-registered mixed-design crowdsourcing experiment. Results show that contextualized counterspeech can significantly outperform state-of-the-art generic counterspeech in adequacy and persuasiveness, without compromising other characteristics. Our findings also reveal a poor correlation between quantitative indicators and human evaluations, suggesting that these methods assess different aspects and highlighting the need for nuanced evaluation methodologies. The effectiveness of contextualized AI-generated counterspeech and the divergence between human and algorithmic evaluations underscore the importance of increased human-AI collaboration in content moderation.