Detecção Robusta e de Alta Precisão de Textos Gerados por IA

Robust and Fine-Grained Detection of AI Generated Texts

April 16, 2025

Autores: Ram Mohan Rao Kadiyala, Siddartha Pullakhandam, Kanwal Mehreen, Drishti Sharma, Siddhant Gupta, Jebish Purbey, Ashay Srivastava, Subhasya TippaReddy, Arvind Reddy Bobbili, Suraj Telugara Chandrashekhar, Modabbir Adeeb, Srinadh Vura, Hamza Farooq

cs.AI

Resumo

Um sistema ideal de detecção para conteúdo gerado por máquina deve funcionar bem em qualquer gerador, à medida que modelos de linguagem (LLMs) cada vez mais avançados surgem diariamente. Os sistemas existentes frequentemente enfrentam dificuldades em identificar com precisão o conteúdo gerado por IA em textos mais curtos. Além disso, nem todos os textos podem ser inteiramente escritos por um humano ou por um LLM, portanto, focamos mais em casos parciais, ou seja, textos coautoriais entre humanos e LLMs. Nosso artigo introduz um conjunto de modelos construídos para a tarefa de classificação de tokens, que foram treinados em uma extensa coleção de textos coautoriais entre humanos e máquinas, os quais apresentaram bom desempenho em textos de domínios não vistos, geradores não vistos, textos de falantes não nativos e aqueles com entradas adversariais. Também introduzimos um novo conjunto de dados com mais de 2,4 milhões de textos, em sua maioria coautoriais por vários LLMs proprietários populares em 23 idiomas. Apresentamos ainda os resultados do desempenho de nossos modelos em textos de cada domínio e gerador. Outros achados incluem a comparação do desempenho contra cada método adversarial, o comprimento dos textos de entrada e as características dos textos gerados em comparação com os textos originais escritos por humanos.

English

An ideal detection system for machine generated content is supposed to work well on any generator as many more advanced LLMs come into existence day by day. Existing systems often struggle with accurately identifying AI-generated content over shorter texts. Further, not all texts might be entirely authored by a human or LLM, hence we focused more over partial cases i.e human-LLM co-authored texts. Our paper introduces a set of models built for the task of token classification which are trained on an extensive collection of human-machine co-authored texts, which performed well over texts of unseen domains, unseen generators, texts by non-native speakers and those with adversarial inputs. We also introduce a new dataset of over 2.4M such texts mostly co-authored by several popular proprietary LLMs over 23 languages. We also present findings of our models' performance over each texts of each domain and generator. Additional findings include comparison of performance against each adversarial method, length of input texts and characteristics of generated texts compared to the original human authored texts.