ClaimIQ a CheckThat! 2025: Confronto tra Modelli Linguistici Promptati e Fine-Tunati per la Verifica di Affermazioni Numeriche
ClaimIQ at CheckThat! 2025: Comparing Prompted and Fine-Tuned Language Models for Verifying Numerical Claims
September 15, 2025
Autori: Anirban Saha Anik, Md Fahimul Kabir Chowdhury, Andrew Wyckoff, Sagnik Ray Choudhury
cs.AI
Abstract
Questo articolo presenta il nostro sistema per il Task 3 del CLEF 2025 CheckThat! Lab, che si concentra sulla verifica di affermazioni numeriche e temporali utilizzando prove recuperate. Esploriamo due approcci complementari: il prompting zero-shot con modelli linguistici di grandi dimensioni (LLM) ottimizzati per istruzioni e il fine-tuning supervisionato utilizzando LoRA, un metodo efficiente in termini di parametri. Per migliorare la qualità delle prove, investigiamo diverse strategie di selezione, tra cui l'input di documenti completi e il filtraggio delle top-k frasi utilizzando BM25 e MiniLM. Il nostro modello con le migliori prestazioni, LLaMA fine-tuned con LoRA, ottiene risultati solidi sul set di validazione in inglese. Tuttavia, un calo significativo nel set di test evidenzia una sfida di generalizzazione. Questi risultati sottolineano l'importanza della granularità delle prove e dell'adattamento del modello per una verifica robusta dei fatti numerici.
English
This paper presents our system for Task 3 of the CLEF 2025 CheckThat! Lab,
which focuses on verifying numerical and temporal claims using retrieved
evidence. We explore two complementary approaches: zero-shot prompting with
instruction-tuned large language models (LLMs) and supervised fine-tuning using
parameter-efficient LoRA. To enhance evidence quality, we investigate several
selection strategies, including full-document input and top-k sentence
filtering using BM25 and MiniLM. Our best-performing model LLaMA fine-tuned
with LoRA achieves strong performance on the English validation set. However, a
notable drop in the test set highlights a generalization challenge. These
findings underscore the importance of evidence granularity and model adaptation
for robust numerical fact verification.