Les experts en IA de CheckThat! 2025 : Amélioration des embeddings basés sur les transformers avec le sentiment pour la détection de la subjectivité dans les articles de presse
AI Wizards at CheckThat! 2025: Enhancing Transformer-Based Embeddings with Sentiment for Subjectivity Detection in News Articles
July 15, 2025
papers.authors: Matteo Fasulo, Luca Babboni, Luca Tedeschini
cs.AI
papers.abstract
Cet article présente la participation d'AI Wizards au Lab CheckThat! de CLEF 2025, Tâche 1 : Détection de la subjectivité dans les articles de presse, consistant à classer les phrases comme subjectives/objectives dans des contextes monolingues, multilingues et en zero-shot. Des ensembles de données d'entraînement et de développement ont été fournis pour l'arabe, l'allemand, l'anglais, l'italien et le bulgare ; l'évaluation finale incluait des langues supplémentaires non vues (par exemple, le grec, le roumain, le polonais, l'ukrainien) pour évaluer la généralisation. Notre stratégie principale a consisté à améliorer les classificateurs basés sur des transformers en intégrant des scores de sentiment, dérivés d'un modèle auxiliaire, avec les représentations de phrases, visant à dépasser le fine-tuning standard. Nous avons exploré cette architecture enrichie par le sentiment avec mDeBERTaV3-base, ModernBERT-base (anglais) et Llama3.2-1B. Pour traiter le déséquilibre de classes, répandu à travers les langues, nous avons utilisé une calibration des seuils de décision optimisée sur l'ensemble de développement. Nos expériences montrent que l'intégration des caractéristiques de sentiment améliore significativement les performances, en particulier le score F1 subjectif. Ce cadre a conduit à des classements élevés, notamment la 1ère place pour le grec (Macro F1 = 0,51).
English
This paper presents AI Wizards' participation in the CLEF 2025 CheckThat! Lab
Task 1: Subjectivity Detection in News Articles, classifying sentences as
subjective/objective in monolingual, multilingual, and zero-shot settings.
Training/development datasets were provided for Arabic, German, English,
Italian, and Bulgarian; final evaluation included additional unseen languages
(e.g., Greek, Romanian, Polish, Ukrainian) to assess generalization. Our
primary strategy enhanced transformer-based classifiers by integrating
sentiment scores, derived from an auxiliary model, with sentence
representations, aiming to improve upon standard fine-tuning. We explored this
sentiment-augmented architecture with mDeBERTaV3-base, ModernBERT-base
(English), and Llama3.2-1B. To address class imbalance, prevalent across
languages, we employed decision threshold calibration optimized on the
development set. Our experiments show sentiment feature integration
significantly boosts performance, especially subjective F1 score. This
framework led to high rankings, notably 1st for Greek (Macro F1 = 0.51).