MisSynth: Melhorando a Classificação de Falácias Lógicas MISSCI com Dados Sintéticos

MisSynth: Improving MISSCI Logical Fallacies Classification with Synthetic Data

October 30, 2025

Autores: Mykhailo Poliakov, Nadiya Shvai

cs.AI

Resumo

A desinformação relacionada à saúde é muito prevalente e potencialmente prejudicial. É difícil de identificar, especialmente quando as alegações distorcem ou interpretam incorretamente descobertas científicas. Investigamos o impacto das técnicas de geração de dados sintéticos e de *fine-tuning* leve na capacidade de modelos de linguagem de grande porte (LLMs) para reconhecer argumentos falaciosos utilizando o conjunto de dados e a estrutura MISSCI. Neste trabalho, propomos o MisSynth, um *pipeline* que aplica a geração aumentada por recuperação (RAG) para produzir amostras sintéticas de falácias, que são então usadas para fazer o *fine-tuning* de um modelo LLM. Nossos resultados mostram ganhos substanciais de precisão com os modelos ajustados em comparação com as linhas de base padrão. Por exemplo, o modelo LLaMA 3.1 8B com *fine-tuning* alcançou uma melhoria absoluta de mais de 35% no F1-score na divisão de teste do MISSCI em relação à sua linha de base padrão. Demonstramos que a introdução de dados sintéticos de falácias para aumentar os recursos anotados limitados pode melhorar significativamente o desempenho de classificação *zero-shot* de LLMs em tarefas de desinformação científica do mundo real, mesmo com recursos computacionais limitados. O código e o conjunto de dados sintéticos estão disponíveis em https://github.com/mxpoliakov/MisSynth.

English

Health-related misinformation is very prevalent and potentially harmful. It is difficult to identify, especially when claims distort or misinterpret scientific findings. We investigate the impact of synthetic data generation and lightweight fine-tuning techniques on the ability of large language models (LLMs) to recognize fallacious arguments using the MISSCI dataset and framework. In this work, we propose MisSynth, a pipeline that applies retrieval-augmented generation (RAG) to produce synthetic fallacy samples, which are then used to fine-tune an LLM model. Our results show substantial accuracy gains with fine-tuned models compared to vanilla baselines. For instance, the LLaMA 3.1 8B fine-tuned model achieved an over 35% F1-score absolute improvement on the MISSCI test split over its vanilla baseline. We demonstrate that introducing synthetic fallacy data to augment limited annotated resources can significantly enhance zero-shot LLM classification performance on real-world scientific misinformation tasks, even with limited computational resources. The code and synthetic dataset are available on https://github.com/mxpoliakov/MisSynth.