I rilevatori di intelligenza artificiale sono sufficientemente buoni? Un'indagine sulla qualità dei set di dati con testi generati da macchine.

Are AI Detectors Good Enough? A Survey on Quality of Datasets With Machine-Generated Texts

October 18, 2024

Autori: German Gritsai, Anastasia Voznyuk, Andrey Grabovoy, Yury Chekhovich

cs.AI

Abstract

Lo sviluppo rapido dei Grandi Modelli di Linguaggio Autoregressivi (LLM) ha migliorato significativamente la qualità dei testi generati, rendendo necessari dei rilevatori affidabili di testi generati automaticamente. Un gran numero di rilevatori e raccolte con frammenti di intelligenza artificiale sono emersi, e diversi metodi di rilevamento hanno dimostrato una qualità di riconoscimento fino al 99,9% secondo le metriche di riferimento in tali raccolte. Tuttavia, la qualità di tali rilevatori tende a diminuire drasticamente in situazioni reali, ponendo una domanda: i rilevatori sono effettivamente molto affidabili o i loro alti punteggi di riferimento derivano dalla scarsa qualità dei set di valutazione? In questo articolo, sottolineiamo la necessità di metodi robusti e qualitativi per valutare i dati generati al fine di essere sicuri contro il bias e la scarsa capacità di generalizzazione dei futuri modelli. Presentiamo una revisione sistematica dei set di dati provenienti da competizioni dedicate alla rilevazione di contenuti generati da intelligenza artificiale e proponiamo metodi per valutare la qualità dei set di dati contenenti frammenti generati da intelligenza artificiale. Inoltre, discutiamo la possibilità di utilizzare dati generati di alta qualità per raggiungere due obiettivi: migliorare l'addestramento dei modelli di rilevamento e migliorare i set di dati di addestramento stessi. Il nostro contributo mira a facilitare una migliore comprensione della dinamica tra testo umano e testo generato da macchine, che supporterà in ultima analisi l'integrità delle informazioni in un mondo sempre più automatizzato.

English

The rapid development of autoregressive Large Language Models (LLMs) has significantly improved the quality of generated texts, necessitating reliable machine-generated text detectors. A huge number of detectors and collections with AI fragments have emerged, and several detection methods even showed recognition quality up to 99.9% according to the target metrics in such collections. However, the quality of such detectors tends to drop dramatically in the wild, posing a question: Are detectors actually highly trustworthy or do their high benchmark scores come from the poor quality of evaluation datasets? In this paper, we emphasise the need for robust and qualitative methods for evaluating generated data to be secure against bias and low generalising ability of future model. We present a systematic review of datasets from competitions dedicated to AI-generated content detection and propose methods for evaluating the quality of datasets containing AI-generated fragments. In addition, we discuss the possibility of using high-quality generated data to achieve two goals: improving the training of detection models and improving the training datasets themselves. Our contribution aims to facilitate a better understanding of the dynamics between human and machine text, which will ultimately support the integrity of information in an increasingly automated world.