Ich weiß, welches LLM deinen Code letzten Sommer geschrieben hat: LLM-generierte Code-Stilometrie zur Urheberschaftszuordnung

Zusammenfassung

Die Erkennung von KI-generiertem Code, Deepfakes und anderem synthetischen Inhalt stellt eine aufstrebende Forschungsherausforderung dar. Da Code, der von Large Language Models (LLMs) generiert wird, immer häufiger wird, ist es zunehmend wichtig, das spezifische Modell hinter jeder Probe zu identifizieren. Dieses Papier präsentiert die erste systematische Studie zur Urheberschaftsattribution von LLMs für C-Programme. Wir haben CodeT5-Authorship veröffentlicht, ein neuartiges Modell, das nur die Encoder-Schichten der ursprünglichen CodeT5-Encoder-Decoder-Architektur verwendet und den Decoder verwirft, um sich auf die Klassifikation zu konzentrieren. Der Encoder-Ausgang unseres Modells (erster Token) wird durch einen zweischichtigen Klassifikationskopf mit GELU-Aktivierung und Dropout geleitet, wodurch eine Wahrscheinlichkeitsverteilung über mögliche Autoren erzeugt wird. Um unseren Ansatz zu bewerten, führen wir LLM-AuthorBench ein, einen Benchmark mit 32.000 kompilierbaren C-Programmen, die von acht state-of-the-art LLMs für verschiedene Aufgaben generiert wurden. Wir vergleichen unser Modell mit sieben traditionellen ML-Klassifikatoren und acht feinabgestimmten Transformer-Modellen, darunter BERT, RoBERTa, CodeBERT, ModernBERT, DistilBERT, DeBERTa-V3, Longformer und LoRA-feinabgestimmtes Qwen2-1.5B. In der binären Klassifikation erreicht unser Modell eine Genauigkeit von 97,56 % bei der Unterscheidung von C-Programmen, die von eng verwandten Modellen wie GPT-4.1 und GPT-4o generiert wurden, und eine Genauigkeit von 95,40 % für die Multi-Klassen-Attribution unter fünf führenden LLMs (Gemini 2.5 Flash, Claude 3.5 Haiku, GPT-4.1, Llama 3.3 und DeepSeek-V3). Um die offene Wissenschaft zu unterstützen, veröffentlichen wir die CodeT5-Authorship-Architektur, den LLM-AuthorBench-Benchmark und alle relevanten Google Colab-Skripte auf GitHub: https://github.com/LLMauthorbench/.

English

Detecting AI-generated code, deepfakes, and other synthetic content is an emerging research challenge. As code generated by Large Language Models (LLMs) becomes more common, identifying the specific model behind each sample is increasingly important. This paper presents the first systematic study of LLM authorship attribution for C programs. We released CodeT5-Authorship, a novel model that uses only the encoder layers from the original CodeT5 encoder-decoder architecture, discarding the decoder to focus on classification. Our model's encoder output (first token) is passed through a two-layer classification head with GELU activation and dropout, producing a probability distribution over possible authors. To evaluate our approach, we introduce LLM-AuthorBench, a benchmark of 32,000 compilable C programs generated by eight state-of-the-art LLMs across diverse tasks. We compare our model to seven traditional ML classifiers and eight fine-tuned transformer models, including BERT, RoBERTa, CodeBERT, ModernBERT, DistilBERT, DeBERTa-V3, Longformer, and LoRA-fine-tuned Qwen2-1.5B. In binary classification, our model achieves 97.56% accuracy in distinguishing C programs generated by closely related models such as GPT-4.1 and GPT-4o, and 95.40% accuracy for multi-class attribution among five leading LLMs (Gemini 2.5 Flash, Claude 3.5 Haiku, GPT-4.1, Llama 3.3, and DeepSeek-V3). To support open science, we release the CodeT5-Authorship architecture, the LLM-AuthorBench benchmark, and all relevant Google Colab scripts on GitHub: https://github.com/LLMauthorbench/.

Ich weiß, welches LLM deinen Code letzten Sommer geschrieben hat: LLM-generierte Code-Stilometrie zur Urheberschaftszuordnung

I Know Which LLM Wrote Your Code Last Summer: LLM generated Code Stylometry for Authorship Attribution

Zusammenfassung

Support