Mostre, não conte: Detecção Explicável de Texto Gerado por IA

Resumo

A pesquisa sobre detecção de texto gerado por IA apresentou diversas abordagens para distinguir prosa humana de artificial, algumas das quais alcançando alto desempenho dentro da distribuição. No entanto, a aplicabilidade no mundo real estagnou porque seus resultados não estão alinhados às necessidades dos usuários, como professores, que recebem uma pontuação numérica sem qualquer explicação associada. Abordamos esse problema com uma nova arquitetura, TELL, que incorpora explicabilidade desde a concepção. Embora nosso sistema ainda ofereça uma pontuação numérica como outros detectores para fins de comparabilidade, o TELL adota uma abordagem fundamentalmente diferente, na qual buscamos mostrar ao usuário as "pistas" pelas quais o modelo acredita que um texto seja escrito por IA ou humano, capacitando o usuário a decidir quem escreveu um texto usando seu próprio julgamento e compreensão do contexto da escrita e de seu suposto autor. Treinamos o TELL em um conjunto de dados SFT personalizado com anotações de autoria específicas ao domínio, e refinamos ainda mais o sistema usando GRPO com aprendizagem curricular para melhorar o desempenho. Alcançamos desempenho competitivo com detectores de última geração (AUROC 0,927), ao mesmo tempo que fornecemos nativamente anotações que explicam a base da decisão do detector. Avaliamos ainda a qualidade de nossas explicações usando um conjunto de dados de anotações humanas e relatamos uma alta taxa de vitória (média de 72,3%) em concretude, falseabilidade, coerência, plausibilidade e fundamentação das anotações, permitindo que os usuários pensem criticamente e decidam por si mesmos. Assim, nosso trabalho reformula o problema da detecção de texto gerado por IA sob uma perspectiva centrada no ser humano e abre caminho para uma nova família de detectores focados em explicabilidade nativa.

English

Research on AI-generated text detection has presented a number of approaches to discern human from AI prose, some of which achieving high in-distribution performance. However, real-world applicability has stalled because their outputs are misaligned with the needs of users, such as professors, who are presented with a numeric score that has no attached explanation. We tackle this issue with a novel architecture, TELL, that bakes explainability from the ground-up. While our system still offers a numerical score like other detectors for comparability, TELL takes a fundamentally different approach where we aim to show the user the "tells" by which the model believes a text is AI or human-written, to empower the user to decide who wrote a text using their own judgment and understanding of the context of the writing and its alleged author. We train TELL on a custom SFT dataset of domain-specific authorship annotations, and further refine the system using GRPO with curriculum learning to improve performance. We achieve competitive performance with state-of-the-art detectors (AUROC 0.927) while natively providing annotations that explain the basis for the detector's decision. We further evaluate the quality of our explanations using a dataset of human annotations and report a high (mean 72.3%) win-rate on annotation concreteness, falsifiability, coherence, plausibility and grounding, allowing users to critically think and decide for themselves. Our work thus reframes the problem of AI-generated text detection in a human-centric perspective and paves the way for a new family of detectors that focus on native explainability.