CheckThat! 2025のAIウィザード：ニュース記事の主観性検出におけるTransformerベースの埋め込みと感情分析の強化

AI Wizards at CheckThat! 2025: Enhancing Transformer-Based Embeddings with Sentiment for Subjectivity Detection in News Articles

July 15, 2025

著者: Matteo Fasulo, Luca Babboni, Luca Tedeschini

cs.AI

要旨

本論文は、CLEF 2025 CheckThat! LabのTask 1「ニュース記事における主観性検出」におけるAI Wizardsの参加を報告する。このタスクでは、単一言語、多言語、およびゼロショット設定において、文を主観的/客観的に分類する。アラビア語、ドイツ語、英語、イタリア語、ブルガリア語のトレーニング/開発データセットが提供され、最終評価では一般化能力を評価するために、ギリシャ語、ルーマニア語、ポーランド語、ウクライナ語などの未見の言語が追加された。我々の主要な戦略は、補助モデルから導出された感情スコアを文表現と統合することで、トランスフォーマーベースの分類器を強化し、標準的なファインチューニングを改善することを目指した。この感情強化アーキテクチャを、mDeBERTaV3-base、ModernBERT-base（英語）、およびLlama3.2-1Bで探索した。言語間で普遍的なクラス不均衡に対処するため、開発セットで最適化された決定閾値キャリブレーションを採用した。実験結果は、感情特徴の統合が性能、特に主観的F1スコアを大幅に向上させることを示している。このフレームワークにより、特にギリシャ語で1位（Macro F1 = 0.51）という高い順位を獲得した。

English

This paper presents AI Wizards' participation in the CLEF 2025 CheckThat! Lab Task 1: Subjectivity Detection in News Articles, classifying sentences as subjective/objective in monolingual, multilingual, and zero-shot settings. Training/development datasets were provided for Arabic, German, English, Italian, and Bulgarian; final evaluation included additional unseen languages (e.g., Greek, Romanian, Polish, Ukrainian) to assess generalization. Our primary strategy enhanced transformer-based classifiers by integrating sentiment scores, derived from an auxiliary model, with sentence representations, aiming to improve upon standard fine-tuning. We explored this sentiment-augmented architecture with mDeBERTaV3-base, ModernBERT-base (English), and Llama3.2-1B. To address class imbalance, prevalent across languages, we employed decision threshold calibration optimized on the development set. Our experiments show sentiment feature integration significantly boosts performance, especially subjective F1 score. This framework led to high rankings, notably 1st for Greek (Macro F1 = 0.51).