Contre-discours contextualisé : Stratégies d'adaptation, de personnalisation et d'évaluation

Contextualized Counterspeech: Strategies for Adaptation, Personalization, and Evaluation

December 10, 2024

Auteurs: Lorenzo Cima, Alessio Miaschi, Amaury Trujillo, Marco Avvenuti, Felice Dell'Orletta, Stefano Cresci

cs.AI

Résumé

La contremesure générée par l'IA offre une stratégie prometteuse et évolutive pour réduire la toxicité en ligne grâce à des réponses directes qui favorisent le dialogue civil. Cependant, les contremesures actuelles sont standardisées, sans adaptation au contexte de modération et aux utilisateurs impliqués. Nous proposons et évaluons plusieurs stratégies pour générer des contremesures personnalisées adaptées au contexte de modération et individualisées pour l'utilisateur modéré. Nous instruisons un modèle LLaMA2-13B pour générer des contremesures, en expérimentant avec différentes configurations basées sur des informations contextuelles variées et des stratégies de fine-tuning. Nous identifions les configurations qui génèrent des contremesures persuasives à travers une combinaison d'indicateurs quantitatifs et d'évaluations humaines collectées via une expérience de crowdsourcing à conception mixte préenregistrée. Les résultats montrent que les contremesures contextualisées peuvent surpasser de manière significative les contremesures génériques de pointe en termes d'adéquation et de persuasion, sans compromettre les autres caractéristiques. Nos conclusions révèlent également une faible corrélation entre les indicateurs quantitatifs et les évaluations humaines, suggérant que ces méthodes évaluent des aspects différents et soulignant le besoin de méthodologies d'évaluation nuancées. L'efficacité des contremesures générées par l'IA contextualisées et l'écart entre les évaluations humaines et algorithmiques soulignent l'importance d'une collaboration accrue entre l'humain et l'IA dans la modération de contenu.

English

AI-generated counterspeech offers a promising and scalable strategy to curb online toxicity through direct replies that promote civil discourse. However, current counterspeech is one-size-fits-all, lacking adaptation to the moderation context and the users involved. We propose and evaluate multiple strategies for generating tailored counterspeech that is adapted to the moderation context and personalized for the moderated user. We instruct an LLaMA2-13B model to generate counterspeech, experimenting with various configurations based on different contextual information and fine-tuning strategies. We identify the configurations that generate persuasive counterspeech through a combination of quantitative indicators and human evaluations collected via a pre-registered mixed-design crowdsourcing experiment. Results show that contextualized counterspeech can significantly outperform state-of-the-art generic counterspeech in adequacy and persuasiveness, without compromising other characteristics. Our findings also reveal a poor correlation between quantitative indicators and human evaluations, suggesting that these methods assess different aspects and highlighting the need for nuanced evaluation methodologies. The effectiveness of contextualized AI-generated counterspeech and the divergence between human and algorithmic evaluations underscore the importance of increased human-AI collaboration in content moderation.