Maghi dell'AI a CheckThat! 2025: Miglioramento degli Embedding Basati su Transformer con il Sentiment per il Rilevamento della Soggettività negli Articoli di Notizie

AI Wizards at CheckThat! 2025: Enhancing Transformer-Based Embeddings with Sentiment for Subjectivity Detection in News Articles

July 15, 2025

Autori: Matteo Fasulo, Luca Babboni, Luca Tedeschini

cs.AI

Abstract

Questo articolo presenta la partecipazione di AI Wizards al CLEF 2025 CheckThat! Lab Task 1: Rilevamento della Soggettività negli Articoli di Notizie, classificando le frasi come soggettive/oggettive in contesti monolingue, multilingue e zero-shot. Sono stati forniti dataset di addestramento/sviluppo per arabo, tedesco, inglese, italiano e bulgaro; la valutazione finale ha incluso ulteriori lingue non viste (ad esempio, greco, rumeno, polacco, ucraino) per valutare la generalizzazione. La nostra strategia principale ha migliorato i classificatori basati su transformer integrando punteggi di sentiment, derivati da un modello ausiliario, con le rappresentazioni delle frasi, con l'obiettivo di migliorare il fine-tuning standard. Abbiamo esplorato questa architettura arricchita dal sentiment con mDeBERTaV3-base, ModernBERT-base (inglese) e Llama3.2-1B. Per affrontare lo squilibrio delle classi, prevalente tra le lingue, abbiamo utilizzato la calibrazione della soglia decisionale ottimizzata sul set di sviluppo. I nostri esperimenti mostrano che l'integrazione delle feature di sentiment migliora significativamente le prestazioni, in particolare il punteggio F1 soggettivo. Questo framework ha portato a posizioni elevate, in particolare il 1° posto per il greco (Macro F1 = 0.51).

English

This paper presents AI Wizards' participation in the CLEF 2025 CheckThat! Lab Task 1: Subjectivity Detection in News Articles, classifying sentences as subjective/objective in monolingual, multilingual, and zero-shot settings. Training/development datasets were provided for Arabic, German, English, Italian, and Bulgarian; final evaluation included additional unseen languages (e.g., Greek, Romanian, Polish, Ukrainian) to assess generalization. Our primary strategy enhanced transformer-based classifiers by integrating sentiment scores, derived from an auxiliary model, with sentence representations, aiming to improve upon standard fine-tuning. We explored this sentiment-augmented architecture with mDeBERTaV3-base, ModernBERT-base (English), and Llama3.2-1B. To address class imbalance, prevalent across languages, we employed decision threshold calibration optimized on the development set. Our experiments show sentiment feature integration significantly boosts performance, especially subjective F1 score. This framework led to high rankings, notably 1st for Greek (Macro F1 = 0.51).