KI-Zauberer bei CheckThat! 2025: Verbesserung transformerbasierter Embeddings durch Sentiment-Analyse zur Subjektivitätserkennung in Nachrichtenartikeln
AI Wizards at CheckThat! 2025: Enhancing Transformer-Based Embeddings with Sentiment for Subjectivity Detection in News Articles
July 15, 2025
papers.authors: Matteo Fasulo, Luca Babboni, Luca Tedeschini
cs.AI
papers.abstract
Dieses Papier präsentiert die Teilnahme von AI Wizards am CLEF 2025 CheckThat! Lab Task 1: Subjektivitätserkennung in Nachrichtenartikeln, bei dem Sätze in monolingualen, multilingualen und Zero-Shot-Szenarien als subjektiv/objektiv klassifiziert wurden. Trainings- und Entwicklungsdatensätze wurden für Arabisch, Deutsch, Englisch, Italienisch und Bulgarisch bereitgestellt; die finale Evaluation umfasste zusätzlich unbekannte Sprachen (z. B. Griechisch, Rumänisch, Polnisch, Ukrainisch), um die Generalisierungsfähigkeit zu bewerten. Unsere primäre Strategie verbesserte transformer-basierte Klassifikatoren durch die Integration von Sentiment-Scores, die von einem Hilfsmodell abgeleitet wurden, mit Satzrepräsentationen, um die Standard-Fine-Tuning-Methode zu übertreffen. Wir untersuchten diese sentiment-erweiterte Architektur mit mDeBERTaV3-base, ModernBERT-base (Englisch) und Llama3.2-1B. Um das klassenübergreifende Ungleichgewicht, das in allen Sprachen vorherrschte, zu adressieren, setzten wir eine Entscheidungsschwellenkalibrierung ein, die auf dem Entwicklungsdatensatz optimiert wurde. Unsere Experimente zeigen, dass die Integration von Sentiment-Features die Leistung signifikant steigert, insbesondere den F1-Score für subjektive Sätze. Dieser Rahmen führte zu hohen Platzierungen, insbesondere zum 1. Platz für Griechisch (Makro-F1 = 0,51).
English
This paper presents AI Wizards' participation in the CLEF 2025 CheckThat! Lab
Task 1: Subjectivity Detection in News Articles, classifying sentences as
subjective/objective in monolingual, multilingual, and zero-shot settings.
Training/development datasets were provided for Arabic, German, English,
Italian, and Bulgarian; final evaluation included additional unseen languages
(e.g., Greek, Romanian, Polish, Ukrainian) to assess generalization. Our
primary strategy enhanced transformer-based classifiers by integrating
sentiment scores, derived from an auxiliary model, with sentence
representations, aiming to improve upon standard fine-tuning. We explored this
sentiment-augmented architecture with mDeBERTaV3-base, ModernBERT-base
(English), and Llama3.2-1B. To address class imbalance, prevalent across
languages, we employed decision threshold calibration optimized on the
development set. Our experiments show sentiment feature integration
significantly boosts performance, especially subjective F1 score. This
framework led to high rankings, notably 1st for Greek (Macro F1 = 0.51).