MisSynth : Amélioration de la classification des sophismes MISSCI grâce aux données synthétiques

MisSynth: Improving MISSCI Logical Fallacies Classification with Synthetic Data

October 30, 2025

papers.authors: Mykhailo Poliakov, Nadiya Shvai

cs.AI

papers.abstract

La désinformation liée à la santé est très répandue et potentiellement dangereuse. Elle est difficile à identifier, particulièrement lorsque les affirmations déforment ou interprètent incorrectement des résultats scientifiques. Nous étudions l'impact des techniques de génération de données synthétiques et de fine-tuning léger sur la capacité des grands modèles de langage (LLM) à reconnaître les arguments fallacieux en utilisant le jeu de données et le cadre MISSCI. Dans ce travail, nous proposons MisSynth, un pipeline qui applique la génération augmentée par retrieval (RAG) pour produire des échantillons de sophismes synthétiques, lesquels sont ensuite utilisés pour effectuer un fine-tuning d'un modèle LLM. Nos résultats montrent des gains substantiels en précision avec les modèles fine-tunés par rapport aux modèles de base non entraînés. Par exemple, le modèle LLaMA 3.1 8B fine-tuné a obtenu une amélioration absolue du score F1 de plus de 35 % sur la partition de test de MISSCI par rapport à sa version de base. Nous démontrons que l'introduction de données de sophismes synthétiques pour augmenter des ressources annotées limitées peut significativement améliorer les performances de classification en zero-shot des LLM sur des tâches de désinformation scientifique réelle, même avec des ressources computationnelles limitées. Le code et le jeu de données synthétiques sont disponibles sur https://github.com/mxpoliakov/MisSynth.

English

Health-related misinformation is very prevalent and potentially harmful. It is difficult to identify, especially when claims distort or misinterpret scientific findings. We investigate the impact of synthetic data generation and lightweight fine-tuning techniques on the ability of large language models (LLMs) to recognize fallacious arguments using the MISSCI dataset and framework. In this work, we propose MisSynth, a pipeline that applies retrieval-augmented generation (RAG) to produce synthetic fallacy samples, which are then used to fine-tune an LLM model. Our results show substantial accuracy gains with fine-tuned models compared to vanilla baselines. For instance, the LLaMA 3.1 8B fine-tuned model achieved an over 35% F1-score absolute improvement on the MISSCI test split over its vanilla baseline. We demonstrate that introducing synthetic fallacy data to augment limited annotated resources can significantly enhance zero-shot LLM classification performance on real-world scientific misinformation tasks, even with limited computational resources. The code and synthetic dataset are available on https://github.com/mxpoliakov/MisSynth.