Magos de la IA en CheckThat! 2025: Mejora de los embeddings basados en transformadores con análisis de sentimientos para la detección de subjetividad en artículos de noticias

AI Wizards at CheckThat! 2025: Enhancing Transformer-Based Embeddings with Sentiment for Subjectivity Detection in News Articles

July 15, 2025

Autores: Matteo Fasulo, Luca Babboni, Luca Tedeschini

cs.AI

Resumen

Este artículo presenta la participación de AI Wizards en la tarea 1 del laboratorio CheckThat! de CLEF 2025: Detección de Subjetividad en Artículos de Noticias, clasificando oraciones como subjetivas/objetivas en entornos monolingües, multilingües y de aprendizaje cero. Se proporcionaron conjuntos de datos de entrenamiento y desarrollo para árabe, alemán, inglés, italiano y búlgaro; la evaluación final incluyó idiomas no vistos previamente (por ejemplo, griego, rumano, polaco, ucraniano) para evaluar la generalización. Nuestra estrategia principal mejoró los clasificadores basados en transformadores mediante la integración de puntuaciones de sentimiento, derivadas de un modelo auxiliar, con representaciones de oraciones, con el objetivo de superar el ajuste fino estándar. Exploramos esta arquitectura aumentada con sentimiento utilizando mDeBERTaV3-base, ModernBERT-base (inglés) y Llama3.2-1B. Para abordar el desequilibrio de clases, prevalente en todos los idiomas, empleamos la calibración del umbral de decisión optimizada en el conjunto de desarrollo. Nuestros experimentos muestran que la integración de características de sentimiento mejora significativamente el rendimiento, especialmente en la puntuación F1 subjetiva. Este marco condujo a altas clasificaciones, destacando el primer lugar para el griego (Macro F1 = 0.51).

English

This paper presents AI Wizards' participation in the CLEF 2025 CheckThat! Lab Task 1: Subjectivity Detection in News Articles, classifying sentences as subjective/objective in monolingual, multilingual, and zero-shot settings. Training/development datasets were provided for Arabic, German, English, Italian, and Bulgarian; final evaluation included additional unseen languages (e.g., Greek, Romanian, Polish, Ukrainian) to assess generalization. Our primary strategy enhanced transformer-based classifiers by integrating sentiment scores, derived from an auxiliary model, with sentence representations, aiming to improve upon standard fine-tuning. We explored this sentiment-augmented architecture with mDeBERTaV3-base, ModernBERT-base (English), and Llama3.2-1B. To address class imbalance, prevalent across languages, we employed decision threshold calibration optimized on the development set. Our experiments show sentiment feature integration significantly boosts performance, especially subjective F1 score. This framework led to high rankings, notably 1st for Greek (Macro F1 = 0.51).