ClaimIQ на CheckThat! 2025: Сравнение языковых моделей с использованием промптов и тонкой настройки для проверки числовых утверждений
ClaimIQ at CheckThat! 2025: Comparing Prompted and Fine-Tuned Language Models for Verifying Numerical Claims
September 15, 2025
Авторы: Anirban Saha Anik, Md Fahimul Kabir Chowdhury, Andrew Wyckoff, Sagnik Ray Choudhury
cs.AI
Аннотация
В данной статье представлена наша система для задачи 3 лаборатории CLEF 2025 CheckThat!, которая посвящена проверке числовых и временных утверждений с использованием извлеченных доказательств. Мы исследуем два взаимодополняющих подхода: zero-shot prompting с использованием крупных языковых моделей (LLM), настроенных на инструкции, и контролируемое тонкое обучение с использованием параметрически эффективного метода LoRA. Для повышения качества доказательств мы изучаем несколько стратегий отбора, включая ввод полного документа и фильтрацию топ-k предложений с использованием BM25 и MiniLM. Наша лучшая модель LLaMA, дообученная с помощью LoRA, демонстрирует высокую производительность на английском валидационном наборе данных. Однако значительное снижение производительности на тестовом наборе подчеркивает проблему обобщения. Эти результаты подчеркивают важность гранулярности доказательств и адаптации моделей для надежной проверки числовых фактов.
English
This paper presents our system for Task 3 of the CLEF 2025 CheckThat! Lab,
which focuses on verifying numerical and temporal claims using retrieved
evidence. We explore two complementary approaches: zero-shot prompting with
instruction-tuned large language models (LLMs) and supervised fine-tuning using
parameter-efficient LoRA. To enhance evidence quality, we investigate several
selection strategies, including full-document input and top-k sentence
filtering using BM25 and MiniLM. Our best-performing model LLaMA fine-tuned
with LoRA achieves strong performance on the English validation set. However, a
notable drop in the test set highlights a generalization challenge. These
findings underscore the importance of evidence granularity and model adaptation
for robust numerical fact verification.