MisSynth: Miglioramento della Classificazione delle Fallacie Logiche MISSCI tramite Dati Sintetici

MisSynth: Improving MISSCI Logical Fallacies Classification with Synthetic Data

October 30, 2025

Autori: Mykhailo Poliakov, Nadiya Shvai

cs.AI

Abstract

La disinformazione in ambito sanitario è molto diffusa e potenzialmente dannosa. È difficile da identificare, specialmente quando le affermazioni distorcono o interpretano erroneamente i risultati scientifici. Investigiamo l'impatto della generazione di dati sintetici e delle tecniche di fine-tuning leggero sulla capacità dei grandi modelli linguistici (LLM) di riconoscere argomentazioni fallaci, utilizzando il dataset e il framework MISSCI. In questo lavoro, proponiamo MisSynth, una pipeline che applica la generazione aumentata per recupero di informazioni (RAG) per produrre campioni sintetici di fallacie, che vengono poi utilizzati per effettuare il fine-tuning di un modello LLM. I nostri risultati mostrano sostanziali guadagni in accuratezza con i modelli sottoposti a fine-tuning rispetto ai baseline standard. Ad esempio, il modello LLaMA 3.1 8B dopo il fine-tuning ha ottenuto un miglioramento assoluto di oltre il 35% nell'F1-score sul test split di MISSCI rispetto al suo baseline standard. Dimostriamo che l'introduzione di dati sintetici di fallacie per aumentare le limitate risorse annotate può migliorare significativamente le prestazioni di classificazione zero-shot degli LLM su compiti reali di disinformazione scientifica, anche con risorse computazionali limitate. Il codice e il dataset sintetico sono disponibili su https://github.com/mxpoliakov/MisSynth.

English

Health-related misinformation is very prevalent and potentially harmful. It is difficult to identify, especially when claims distort or misinterpret scientific findings. We investigate the impact of synthetic data generation and lightweight fine-tuning techniques on the ability of large language models (LLMs) to recognize fallacious arguments using the MISSCI dataset and framework. In this work, we propose MisSynth, a pipeline that applies retrieval-augmented generation (RAG) to produce synthetic fallacy samples, which are then used to fine-tune an LLM model. Our results show substantial accuracy gains with fine-tuned models compared to vanilla baselines. For instance, the LLaMA 3.1 8B fine-tuned model achieved an over 35% F1-score absolute improvement on the MISSCI test split over its vanilla baseline. We demonstrate that introducing synthetic fallacy data to augment limited annotated resources can significantly enhance zero-shot LLM classification performance on real-world scientific misinformation tasks, even with limited computational resources. The code and synthetic dataset are available on https://github.com/mxpoliakov/MisSynth.