Mestres da IA no CheckThat! 2025: Aprimorando Embeddings Baseados em Transformers com Análise de Sentimento para Detecção de Subjetividade em Artigos de Notícias

AI Wizards at CheckThat! 2025: Enhancing Transformer-Based Embeddings with Sentiment for Subjectivity Detection in News Articles

July 15, 2025

Autores: Matteo Fasulo, Luca Babboni, Luca Tedeschini

cs.AI

Resumo

Este artigo apresenta a participação da AI Wizards no Task 1 do Lab CheckThat! do CLEF 2025: Detecção de Subjetividade em Artigos de Notícias, classificando frases como subjetivas/objetivas em cenários monolíngues, multilíngues e de zero-shot. Conjuntos de dados de treinamento/desenvolvimento foram fornecidos para árabe, alemão, inglês, italiano e búlgaro; a avaliação final incluiu idiomas adicionais não vistos anteriormente (por exemplo, grego, romeno, polonês, ucraniano) para avaliar a generalização. Nossa estratégia principal aprimorou classificadores baseados em transformers ao integrar pontuações de sentimento, derivadas de um modelo auxiliar, com representações de frases, visando melhorar o ajuste fino padrão. Exploramos essa arquitetura aumentada por sentimento com mDeBERTaV3-base, ModernBERT-base (inglês) e Llama3.2-1B. Para lidar com o desequilíbrio de classes, prevalente em todos os idiomas, empregamos calibração de limiar de decisão otimizada no conjunto de desenvolvimento. Nossos experimentos mostram que a integração de características de sentimento aumenta significativamente o desempenho, especialmente o F1 score subjetivo. Essa estrutura levou a classificações elevadas, destacando-se o 1º lugar para o grego (Macro F1 = 0,51).

English

This paper presents AI Wizards' participation in the CLEF 2025 CheckThat! Lab Task 1: Subjectivity Detection in News Articles, classifying sentences as subjective/objective in monolingual, multilingual, and zero-shot settings. Training/development datasets were provided for Arabic, German, English, Italian, and Bulgarian; final evaluation included additional unseen languages (e.g., Greek, Romanian, Polish, Ukrainian) to assess generalization. Our primary strategy enhanced transformer-based classifiers by integrating sentiment scores, derived from an auxiliary model, with sentence representations, aiming to improve upon standard fine-tuning. We explored this sentiment-augmented architecture with mDeBERTaV3-base, ModernBERT-base (English), and Llama3.2-1B. To address class imbalance, prevalent across languages, we employed decision threshold calibration optimized on the development set. Our experiments show sentiment feature integration significantly boosts performance, especially subjective F1 score. This framework led to high rankings, notably 1st for Greek (Macro F1 = 0.51).