Je sais quel LLM a écrit votre code l'été dernier : Stylométrie du code généré par LLM pour l'attribution d'auteur

Résumé

La détection de code généré par IA, de deepfakes et d'autres contenus synthétiques constitue un défi de recherche émergent. Alors que le code produit par les modèles de langage de grande taille (LLM) devient plus courant, l'identification du modèle spécifique derrière chaque échantillon prend de plus en plus d'importance. Cet article présente la première étude systématique sur l'attribution d'auteur pour les programmes en C générés par des LLM. Nous avons publié CodeT5-Authorship, un nouveau modèle qui utilise uniquement les couches encodeurs de l'architecture encodeur-décodeur originale de CodeT5, en abandonnant le décodeur pour se concentrer sur la classification. La sortie de l'encodeur de notre modèle (premier token) est passée à travers une tête de classification à deux couches avec activation GELU et dropout, produisant une distribution de probabilité sur les auteurs possibles. Pour évaluer notre approche, nous introduisons LLM-AuthorBench, un benchmark de 32 000 programmes C compilables générés par huit LLM de pointe sur diverses tâches. Nous comparons notre modèle à sept classificateurs ML traditionnels et huit modèles transformeurs fine-tunés, incluant BERT, RoBERTa, CodeBERT, ModernBERT, DistilBERT, DeBERTa-V3, Longformer et Qwen2-1.5B fine-tuné avec LoRA. En classification binaire, notre modèle atteint une précision de 97,56 % pour distinguer les programmes C générés par des modèles étroitement liés tels que GPT-4.1 et GPT-4o, et une précision de 95,40 % pour l'attribution multi-classes parmi cinq LLM leaders (Gemini 2.5 Flash, Claude 3.5 Haiku, GPT-4.1, Llama 3.3 et DeepSeek-V3). Pour soutenir la science ouverte, nous publions l'architecture de CodeT5-Authorship, le benchmark LLM-AuthorBench et tous les scripts Google Colab pertinents sur GitHub : https://github.com/LLMauthorbench/.

English

Detecting AI-generated code, deepfakes, and other synthetic content is an emerging research challenge. As code generated by Large Language Models (LLMs) becomes more common, identifying the specific model behind each sample is increasingly important. This paper presents the first systematic study of LLM authorship attribution for C programs. We released CodeT5-Authorship, a novel model that uses only the encoder layers from the original CodeT5 encoder-decoder architecture, discarding the decoder to focus on classification. Our model's encoder output (first token) is passed through a two-layer classification head with GELU activation and dropout, producing a probability distribution over possible authors. To evaluate our approach, we introduce LLM-AuthorBench, a benchmark of 32,000 compilable C programs generated by eight state-of-the-art LLMs across diverse tasks. We compare our model to seven traditional ML classifiers and eight fine-tuned transformer models, including BERT, RoBERTa, CodeBERT, ModernBERT, DistilBERT, DeBERTa-V3, Longformer, and LoRA-fine-tuned Qwen2-1.5B. In binary classification, our model achieves 97.56% accuracy in distinguishing C programs generated by closely related models such as GPT-4.1 and GPT-4o, and 95.40% accuracy for multi-class attribution among five leading LLMs (Gemini 2.5 Flash, Claude 3.5 Haiku, GPT-4.1, Llama 3.3, and DeepSeek-V3). To support open science, we release the CodeT5-Authorship architecture, the LLM-AuthorBench benchmark, and all relevant Google Colab scripts on GitHub: https://github.com/LLMauthorbench/.

Je sais quel LLM a écrit votre code l'été dernier : Stylométrie du code généré par LLM pour l'attribution d'auteur

I Know Which LLM Wrote Your Code Last Summer: LLM generated Code Stylometry for Authorship Attribution

Résumé

Support