MisSynth: Verbetering van MISSCI Logische Fouten Classificatie met Synthetische Data

MisSynth: Improving MISSCI Logical Fallacies Classification with Synthetic Data

October 30, 2025

Auteurs: Mykhailo Poliakov, Nadiya Shvai

cs.AI

Samenvatting

Gezondheidsgerelateerde desinformatie is zeer wijdverspreid en potentieel schadelijk. Het is moeilijk te identificeren, vooral wanneer beweringen wetenschappelijke bevindingen verdraaien of verkeerd interpreteren. Wij onderzoeken de impact van synthetische datageneratie en lichtgewicht fine-tuningtechnieken op het vermogen van grote taalmodellen (LLM's) om drogredenen te herkennen met behulp van de MISSCI-dataset en het bijbehorende raamwerk. In dit werk stellen we MisSynth voor, een pijplijn die retrieval-augmented generation (RAG) toepast om synthetische voorbeelden van drogredenen te produceren, die vervolgens worden gebruikt om een LLM-model te fine-tunen. Onze resultaten tonen substantiële nauwkeurigheidswinst met gefinetunede modellen in vergelijking met standaard baseline-modellen. Het gefinetunede LLaMA 3.1 8B-model behaalde bijvoorbeeld een absolute verbetering van meer dan 35% in de F1-score op de MISSCI-testsplitsing ten opzichte van zijn standaard baseline. Wij tonen aan dat de introductie van synthetische data over drogredenen om beperkte geannoteerde bronnen aan te vullen, de zero-shot classificatieprestatie van LLM's voor taken rond wetenschappelijke desinformatie in de echte wereld aanzienlijk kan verbeteren, zelfs met beperkte rekenresources. De code en de synthetische dataset zijn beschikbaar op https://github.com/mxpoliakov/MisSynth.

English

Health-related misinformation is very prevalent and potentially harmful. It is difficult to identify, especially when claims distort or misinterpret scientific findings. We investigate the impact of synthetic data generation and lightweight fine-tuning techniques on the ability of large language models (LLMs) to recognize fallacious arguments using the MISSCI dataset and framework. In this work, we propose MisSynth, a pipeline that applies retrieval-augmented generation (RAG) to produce synthetic fallacy samples, which are then used to fine-tune an LLM model. Our results show substantial accuracy gains with fine-tuned models compared to vanilla baselines. For instance, the LLaMA 3.1 8B fine-tuned model achieved an over 35% F1-score absolute improvement on the MISSCI test split over its vanilla baseline. We demonstrate that introducing synthetic fallacy data to augment limited annotated resources can significantly enhance zero-shot LLM classification performance on real-world scientific misinformation tasks, even with limited computational resources. The code and synthetic dataset are available on https://github.com/mxpoliakov/MisSynth.