AI Experts bij CheckThat! 2025: Verbetering van Transformer-gebaseerde Embeddings met Sentiment voor Subjectiviteitsdetectie in Nieuwsartikelen

AI Wizards at CheckThat! 2025: Enhancing Transformer-Based Embeddings with Sentiment for Subjectivity Detection in News Articles

July 15, 2025

Auteurs: Matteo Fasulo, Luca Babboni, Luca Tedeschini

cs.AI

Samenvatting

Dit artikel presenteert de deelname van AI Wizards aan de CLEF 2025 CheckThat! Lab Taak 1: Subjectiviteitsdetectie in nieuwsartikelen, waarbij zinnen worden geclassificeerd als subjectief/objectief in eentalige, meertalige en zero-shot instellingen. Trainings- en ontwikkelingsdatasets werden aangeboden voor Arabisch, Duits, Engels, Italiaans en Bulgaars; de finale evaluatie omvatte aanvullende onbekende talen (bijv. Grieks, Roemeens, Pools, Oekraïens) om generalisatie te beoordelen. Onze hoofdstrategie verbeterde transformer-gebaseerde classificatiemodellen door sentimentscores, afgeleid van een hulpmodel, te integreren met zinsrepresentaties, met als doel verbetering ten opzichte van standaard fine-tuning. We onderzochten deze sentiment-augmented architectuur met mDeBERTaV3-base, ModernBERT-base (Engels) en Llama3.2-1B. Om klasse-onbalans, die in alle talen voorkwam, aan te pakken, gebruikten we drempelwaarde-calibratie geoptimaliseerd op de ontwikkelset. Onze experimenten tonen aan dat de integratie van sentimentkenmerken de prestaties aanzienlijk verbetert, met name de subjectieve F1-score. Dit framework leidde tot hoge rangschikkingen, met name de 1e plaats voor Grieks (Macro F1 = 0,51).

English

This paper presents AI Wizards' participation in the CLEF 2025 CheckThat! Lab Task 1: Subjectivity Detection in News Articles, classifying sentences as subjective/objective in monolingual, multilingual, and zero-shot settings. Training/development datasets were provided for Arabic, German, English, Italian, and Bulgarian; final evaluation included additional unseen languages (e.g., Greek, Romanian, Polish, Ukrainian) to assess generalization. Our primary strategy enhanced transformer-based classifiers by integrating sentiment scores, derived from an auxiliary model, with sentence representations, aiming to improve upon standard fine-tuning. We explored this sentiment-augmented architecture with mDeBERTaV3-base, ModernBERT-base (English), and Llama3.2-1B. To address class imbalance, prevalent across languages, we employed decision threshold calibration optimized on the development set. Our experiments show sentiment feature integration significantly boosts performance, especially subjective F1 score. This framework led to high rankings, notably 1st for Greek (Macro F1 = 0.51).