Contextuele tegenspraak: Strategieën voor aanpassing, personalisatie en evaluatie

Contextualized Counterspeech: Strategies for Adaptation, Personalization, and Evaluation

December 10, 2024

Auteurs: Lorenzo Cima, Alessio Miaschi, Amaury Trujillo, Marco Avvenuti, Felice Dell'Orletta, Stefano Cresci

cs.AI

Samenvatting

AI-generatie tegenspraak biedt een veelbelovende en schaalbare strategie om online toxiciteit te verminderen door directe antwoorden die een beschaafde discussie bevorderen. Echter, huidige tegenspraak is een one-size-fits-all, waarbij aanpassing aan de moderatiecontext en de betrokken gebruikers ontbreekt. Wij stellen meerdere strategieën voor om op maat gemaakte tegenspraak te genereren die is aangepast aan de moderatiecontext en gepersonaliseerd is voor de gemodereerde gebruiker. We instrueren een LLaMA2-13B-model om tegenspraak te genereren, waarbij we experimenteren met verschillende configuraties op basis van verschillende contextuele informatie en fine-tuning strategieën. We identificeren de configuraties die overtuigende tegenspraak genereren door een combinatie van kwantitatieve indicatoren en menselijke evaluaties verzameld via een vooraf geregistreerd mixed-design crowdsourcing-experiment. Resultaten tonen aan dat gecontextualiseerde tegenspraak aanzienlijk beter kan presteren dan state-of-the-art generieke tegenspraak op het gebied van adequaatheid en overtuigingskracht, zonder andere kenmerken in gevaar te brengen. Onze bevindingen onthullen ook een zwakke correlatie tussen kwantitatieve indicatoren en menselijke evaluaties, wat suggereert dat deze methoden verschillende aspecten beoordelen en benadrukken de noodzaak van genuanceerde evaluatiemethodologieën. De effectiviteit van gecontextualiseerde AI-generatie tegenspraak en de afwijking tussen menselijke en algoritmische evaluaties benadrukken het belang van een verhoogde mens-AI-samenwerking in contentmoderatie.

English

AI-generated counterspeech offers a promising and scalable strategy to curb online toxicity through direct replies that promote civil discourse. However, current counterspeech is one-size-fits-all, lacking adaptation to the moderation context and the users involved. We propose and evaluate multiple strategies for generating tailored counterspeech that is adapted to the moderation context and personalized for the moderated user. We instruct an LLaMA2-13B model to generate counterspeech, experimenting with various configurations based on different contextual information and fine-tuning strategies. We identify the configurations that generate persuasive counterspeech through a combination of quantitative indicators and human evaluations collected via a pre-registered mixed-design crowdsourcing experiment. Results show that contextualized counterspeech can significantly outperform state-of-the-art generic counterspeech in adequacy and persuasiveness, without compromising other characteristics. Our findings also reveal a poor correlation between quantitative indicators and human evaluations, suggesting that these methods assess different aspects and highlighting the need for nuanced evaluation methodologies. The effectiveness of contextualized AI-generated counterspeech and the divergence between human and algorithmic evaluations underscore the importance of increased human-AI collaboration in content moderation.