체크댓! 2025의 AI 마법사들: 뉴스 기사의 주관성 탐지를 위해 감정 분석을 활용한 트랜스포머 기반 임베딩 강화

AI Wizards at CheckThat! 2025: Enhancing Transformer-Based Embeddings with Sentiment for Subjectivity Detection in News Articles

July 15, 2025

저자: Matteo Fasulo, Luca Babboni, Luca Tedeschini

cs.AI

초록

본 논문은 CLEF 2025 CheckThat! Lab의 Task 1: 뉴스 기사에서의 주관성 탐지(Subjectivity Detection)에 대한 AI Wizards의 참여를 소개한다. 이 작업은 단일 언어, 다국어, 그리고 제로샷 설정에서 문장을 주관적/객관적으로 분류하는 것을 목표로 한다. 아랍어, 독일어, 영어, 이탈리아어, 불가리아어에 대한 훈련/개발 데이터셋이 제공되었으며, 최종 평가에서는 일반화 능력을 평가하기 위해 그리스어, 루마니아어, 폴란드어, 우크라이나어와 같은 추가로 보이지 않는 언어가 포함되었다. 우리의 주요 전략은 보조 모델에서 도출된 감정 점수를 문장 표현과 통합하여 표준 미세 조정을 개선하고자 하는 변환기(transformer) 기반 분류기를 강화하는 것이었다. 우리는 이러한 감정 증강 아키텍처를 mDeBERTaV3-base, ModernBERT-base(영어), 그리고 Llama3.2-1B와 함께 탐구하였다. 언어 전반에 걸쳐 흔히 나타나는 클래스 불균형 문제를 해결하기 위해, 개발 세트에서 최적화된 결정 임계값 보정을 사용하였다. 우리의 실험 결과, 감정 특징 통합은 특히 주관적 F1 점수에서 성능을 크게 향상시키는 것으로 나타났다. 이 프레임워크는 높은 순위를 이끌어냈으며, 특히 그리스어에서 1위(Macro F1 = 0.51)를 기록하였다.

English

This paper presents AI Wizards' participation in the CLEF 2025 CheckThat! Lab Task 1: Subjectivity Detection in News Articles, classifying sentences as subjective/objective in monolingual, multilingual, and zero-shot settings. Training/development datasets were provided for Arabic, German, English, Italian, and Bulgarian; final evaluation included additional unseen languages (e.g., Greek, Romanian, Polish, Ukrainian) to assess generalization. Our primary strategy enhanced transformer-based classifiers by integrating sentiment scores, derived from an auxiliary model, with sentence representations, aiming to improve upon standard fine-tuning. We explored this sentiment-augmented architecture with mDeBERTaV3-base, ModernBERT-base (English), and Llama3.2-1B. To address class imbalance, prevalent across languages, we employed decision threshold calibration optimized on the development set. Our experiments show sentiment feature integration significantly boosts performance, especially subjective F1 score. This framework led to high rankings, notably 1st for Greek (Macro F1 = 0.51).