MisSynth: Mejora de la Clasificación de Falacias Lógicas MISSCI mediante Datos Sintéticos

MisSynth: Improving MISSCI Logical Fallacies Classification with Synthetic Data

October 30, 2025

Autores: Mykhailo Poliakov, Nadiya Shvai

cs.AI

Resumen

La información errónea relacionada con la salud es muy prevalente y potencialmente dañina. Es difícil de identificar, especialmente cuando las afirmaciones distorsionan o interpretan erróneamente hallazgos científicos. Investigamos el impacto de la generación de datos sintéticos y las técnicas de ajuste fino de bajo costo en la capacidad de los modelos de lenguaje grandes (LLMs) para reconocer argumentos falaces utilizando el conjunto de datos y el marco MISSCI. En este trabajo, proponemos MisSynth, un pipeline que aplica la generación aumentada por recuperación (RAG) para producir muestras sintéticas de falacias, las cuales se utilizan luego para ajustar un modelo LLM. Nuestros resultados muestran ganancias sustanciales en precisión con los modelos ajustados en comparación con los modelos base. Por ejemplo, el modelo LLaMA 3.1 8B ajustado logró una mejora absoluta de más del 35% en la puntuación F1 en la división de prueba de MISSCI sobre su versión base. Demostramos que la introducción de datos de falacias sintéticas para aumentar los recursos anotados limitados puede mejorar significativamente el rendimiento de clasificación zero-shot de los LLMs en tareas de información errónea científica del mundo real, incluso con recursos computacionales limitados. El código y el conjunto de datos sintéticos están disponibles en https://github.com/mxpoliakov/MisSynth.

English

Health-related misinformation is very prevalent and potentially harmful. It is difficult to identify, especially when claims distort or misinterpret scientific findings. We investigate the impact of synthetic data generation and lightweight fine-tuning techniques on the ability of large language models (LLMs) to recognize fallacious arguments using the MISSCI dataset and framework. In this work, we propose MisSynth, a pipeline that applies retrieval-augmented generation (RAG) to produce synthetic fallacy samples, which are then used to fine-tune an LLM model. Our results show substantial accuracy gains with fine-tuned models compared to vanilla baselines. For instance, the LLaMA 3.1 8B fine-tuned model achieved an over 35% F1-score absolute improvement on the MISSCI test split over its vanilla baseline. We demonstrate that introducing synthetic fallacy data to augment limited annotated resources can significantly enhance zero-shot LLM classification performance on real-world scientific misinformation tasks, even with limited computational resources. The code and synthetic dataset are available on https://github.com/mxpoliakov/MisSynth.