Ik Weet Welke LLM Jouw Code Afgelopen Zomer Schreef: LLM-gegenereerde Code Stylometrie voor Auteurschapstoekenning

Samenvatting

Het detecteren van AI-gegenereerde code, deepfakes en andere synthetische inhoud is een opkomende onderzoeksuitdaging. Naarmate code die gegenereerd is door Large Language Models (LLMs) vaker voorkomt, wordt het identificeren van het specifieke model achter elk sample steeds belangrijker. Dit artikel presenteert de eerste systematische studie van LLM-auteurschapstoewijzing voor C-programma's. We hebben CodeT5-Authorship uitgebracht, een nieuw model dat alleen de encoder-lagen van de originele CodeT5 encoder-decoder architectuur gebruikt, waarbij de decoder wordt weggelaten om zich te richten op classificatie. De encoder-uitvoer van ons model (eerste token) wordt doorgegeven aan een tweelaagse classificatiekop met GELU-activering en dropout, wat een kansverdeling produceert over mogelijke auteurs. Om onze aanpak te evalueren, introduceren we LLM-AuthorBench, een benchmark van 32.000 compileerbare C-programma's gegenereerd door acht state-of-the-art LLMs voor diverse taken. We vergelijken ons model met zeven traditionele ML-classificatiemodellen en acht fijn afgestemde transformer-modellen, waaronder BERT, RoBERTa, CodeBERT, ModernBERT, DistilBERT, DeBERTa-V3, Longformer en LoRA-fijn afgestemde Qwen2-1.5B. In binaire classificatie behaalt ons model een nauwkeurigheid van 97,56% in het onderscheiden van C-programma's gegenereerd door nauw verwante modellen zoals GPT-4.1 en GPT-4o, en een nauwkeurigheid van 95,40% voor multi-class toewijzing onder vijf toonaangevende LLMs (Gemini 2.5 Flash, Claude 3.5 Haiku, GPT-4.1, Llama 3.3 en DeepSeek-V3). Om open wetenschap te ondersteunen, maken we de CodeT5-Authorship architectuur, de LLM-AuthorBench benchmark en alle relevante Google Colab-scripts beschikbaar op GitHub: https://github.com/LLMauthorbench/.

English

Detecting AI-generated code, deepfakes, and other synthetic content is an emerging research challenge. As code generated by Large Language Models (LLMs) becomes more common, identifying the specific model behind each sample is increasingly important. This paper presents the first systematic study of LLM authorship attribution for C programs. We released CodeT5-Authorship, a novel model that uses only the encoder layers from the original CodeT5 encoder-decoder architecture, discarding the decoder to focus on classification. Our model's encoder output (first token) is passed through a two-layer classification head with GELU activation and dropout, producing a probability distribution over possible authors. To evaluate our approach, we introduce LLM-AuthorBench, a benchmark of 32,000 compilable C programs generated by eight state-of-the-art LLMs across diverse tasks. We compare our model to seven traditional ML classifiers and eight fine-tuned transformer models, including BERT, RoBERTa, CodeBERT, ModernBERT, DistilBERT, DeBERTa-V3, Longformer, and LoRA-fine-tuned Qwen2-1.5B. In binary classification, our model achieves 97.56% accuracy in distinguishing C programs generated by closely related models such as GPT-4.1 and GPT-4o, and 95.40% accuracy for multi-class attribution among five leading LLMs (Gemini 2.5 Flash, Claude 3.5 Haiku, GPT-4.1, Llama 3.3, and DeepSeek-V3). To support open science, we release the CodeT5-Authorship architecture, the LLM-AuthorBench benchmark, and all relevant Google Colab scripts on GitHub: https://github.com/LLMauthorbench/.

Ik Weet Welke LLM Jouw Code Afgelopen Zomer Schreef: LLM-gegenereerde Code Stylometrie voor Auteurschapstoekenning

I Know Which LLM Wrote Your Code Last Summer: LLM generated Code Stylometry for Authorship Attribution

Samenvatting

Support