ClaimIQ bij CheckThat! 2025: Vergelijking van gepromptte en fijn afgestelde taalmodel- len voor het verifiëren van numerieke beweringen
ClaimIQ at CheckThat! 2025: Comparing Prompted and Fine-Tuned Language Models for Verifying Numerical Claims
September 15, 2025
Auteurs: Anirban Saha Anik, Md Fahimul Kabir Chowdhury, Andrew Wyckoff, Sagnik Ray Choudhury
cs.AI
Samenvatting
Dit artikel presenteert ons systeem voor Taak 3 van het CLEF 2025 CheckThat! Lab, dat zich richt op het verifiëren van numerieke en temporele beweringen met behulp van opgehaald bewijsmateriaal. We onderzoeken twee complementaire benaderingen: zero-shot prompting met instructie-geoptimaliseerde grote taalmodellen (LLMs) en supervised fine-tuning met behulp van parameter-efficiënte LoRA. Om de kwaliteit van het bewijsmateriaal te verbeteren, onderzoeken we verschillende selectiestrategieën, waaronder volledige documentinvoer en top-k zin filtering met BM25 en MiniLM. Ons best presterende model, LLaMA, gefinetuned met LoRA, behaalt sterke prestaties op de Engelse validatieset. Een opvallende daling in de testset benadrukt echter een generalisatie-uitdaging. Deze bevindingen onderstrepen het belang van bewijsgranulariteit en modelaanpassing voor robuuste numerieke feitenverificatie.
English
This paper presents our system for Task 3 of the CLEF 2025 CheckThat! Lab,
which focuses on verifying numerical and temporal claims using retrieved
evidence. We explore two complementary approaches: zero-shot prompting with
instruction-tuned large language models (LLMs) and supervised fine-tuning using
parameter-efficient LoRA. To enhance evidence quality, we investigate several
selection strategies, including full-document input and top-k sentence
filtering using BM25 and MiniLM. Our best-performing model LLaMA fine-tuned
with LoRA achieves strong performance on the English validation set. However, a
notable drop in the test set highlights a generalization challenge. These
findings underscore the importance of evidence granularity and model adaptation
for robust numerical fact verification.