Eu Sei Qual LLM Escreveu Seu Código no Verão Passado: Estilometria de Código Gerado por LLM para Atribuição de Autoria

Resumo

A detecção de código gerado por IA, deepfakes e outros conteúdos sintéticos é um desafio emergente na pesquisa. À medida que o código gerado por Modelos de Linguagem de Grande Escala (LLMs) se torna mais comum, identificar o modelo específico por trás de cada amostra é cada vez mais importante. Este artigo apresenta o primeiro estudo sistemático de atribuição de autoria de LLMs para programas em C. Lançamos o CodeT5-Authorship, um modelo inovador que utiliza apenas as camadas do codificador da arquitetura original encoder-decoder do CodeT5, descartando o decodificador para focar na classificação. A saída do codificador do nosso modelo (primeiro token) é passada por uma cabeça de classificação de duas camadas com ativação GELU e dropout, produzindo uma distribuição de probabilidade sobre os possíveis autores. Para avaliar nossa abordagem, introduzimos o LLM-AuthorBench, um benchmark de 32.000 programas em C compiláveis gerados por oito LLMs de ponta em diversas tarefas. Comparamos nosso modelo a sete classificadores tradicionais de aprendizado de máquina e oito modelos transformadores ajustados, incluindo BERT, RoBERTa, CodeBERT, ModernBERT, DistilBERT, DeBERTa-V3, Longformer e Qwen2-1.5B ajustado com LoRA. Na classificação binária, nosso modelo alcança 97,56% de precisão na distinção de programas em C gerados por modelos estreitamente relacionados, como GPT-4.1 e GPT-4o, e 95,40% de precisão para atribuição multiclasse entre cinco LLMs líderes (Gemini 2.5 Flash, Claude 3.5 Haiku, GPT-4.1, Llama 3.3 e DeepSeek-V3). Para apoiar a ciência aberta, disponibilizamos a arquitetura do CodeT5-Authorship, o benchmark LLM-AuthorBench e todos os scripts relevantes do Google Colab no GitHub: https://github.com/LLMauthorbench/.

English

Detecting AI-generated code, deepfakes, and other synthetic content is an emerging research challenge. As code generated by Large Language Models (LLMs) becomes more common, identifying the specific model behind each sample is increasingly important. This paper presents the first systematic study of LLM authorship attribution for C programs. We released CodeT5-Authorship, a novel model that uses only the encoder layers from the original CodeT5 encoder-decoder architecture, discarding the decoder to focus on classification. Our model's encoder output (first token) is passed through a two-layer classification head with GELU activation and dropout, producing a probability distribution over possible authors. To evaluate our approach, we introduce LLM-AuthorBench, a benchmark of 32,000 compilable C programs generated by eight state-of-the-art LLMs across diverse tasks. We compare our model to seven traditional ML classifiers and eight fine-tuned transformer models, including BERT, RoBERTa, CodeBERT, ModernBERT, DistilBERT, DeBERTa-V3, Longformer, and LoRA-fine-tuned Qwen2-1.5B. In binary classification, our model achieves 97.56% accuracy in distinguishing C programs generated by closely related models such as GPT-4.1 and GPT-4o, and 95.40% accuracy for multi-class attribution among five leading LLMs (Gemini 2.5 Flash, Claude 3.5 Haiku, GPT-4.1, Llama 3.3, and DeepSeek-V3). To support open science, we release the CodeT5-Authorship architecture, the LLM-AuthorBench benchmark, and all relevant Google Colab scripts on GitHub: https://github.com/LLMauthorbench/.

Eu Sei Qual LLM Escreveu Seu Código no Verão Passado: Estilometria de Código Gerado por LLM para Atribuição de Autoria

I Know Which LLM Wrote Your Code Last Summer: LLM generated Code Stylometry for Authorship Attribution

Resumo

Support