Die verborgenen DNA von LLM-generiertem JavaScript: Strukturelle Muster ermöglichen eine hochgenaue Urheberschaftszuordnung

The Hidden DNA of LLM-Generated JavaScript: Structural Patterns Enable High-Accuracy Authorship Attribution

October 12, 2025

papers.authors: Norbert Tihanyi, Bilel Cherif, Richard A. Dubniczky, Mohamed Amine Ferrag, Tamás Bisztray

cs.AI

papers.abstract

In diesem Artikel präsentieren wir die erste groß angelegte Studie, die untersucht, ob von Large Language Models (LLMs) generierter JavaScript-Code Rückschlüsse auf das Modell zulässt, das ihn erzeugt hat, und somit eine zuverlässige Urheberschaftsattribution und Modellfingerabdrücke ermöglicht. Mit dem rasanten Anstieg von KI-generiertem Code spielt die Attribution eine entscheidende Rolle bei der Erkennung von Sicherheitslücken, der Markierung bösartiger Inhalte und der Gewährleistung von Verantwortlichkeit. Während die KI-vs-Mensch-Erkennung KI üblicherweise als eine einzige Kategorie behandelt, zeigen wir, dass einzelne LLMs einzigartige stilistische Signaturen hinterlassen, selbst unter Modellen derselben Familie oder mit gleicher Parametergröße. Zu diesem Zweck führen wir LLM-NodeJS ein, einen Datensatz von 50.000 Node.js-Backend-Programmen von 20 großen Sprachmodellen. Jedes Programm verfügt über vier transformierte Varianten, was 250.000 einzigartige JavaScript-Beispiele und zwei zusätzliche Repräsentationen (JSIR und AST) für vielfältige Forschungsanwendungen ergibt. Mit diesem Datensatz vergleichen wir traditionelle maschinelle Lernklassifikatoren mit feinabgestimmten Transformer-Encodern und stellen CodeT5-JSA vor, eine spezielle Architektur, die aus dem 770-Millionen-Parameter-Modell CodeT5 abgeleitet ist, bei dem der Decoder entfernt und ein modifizierter Klassifikationskopf hinzugefügt wurde. Es erreicht eine Genauigkeit von 95,8 % bei der Fünf-Klassen-Attribution, 94,6 % bei der Zehn-Klassen- und 88,5 % bei der Zwanzig-Klassen-Aufgabe und übertrifft damit andere getestete Modelle wie BERT, CodeBERT und Longformer. Wir zeigen, dass Klassifikatoren tiefere stilistische Regelmäßigkeiten im Datenfluss und der Struktur von Programmen erfassen, anstatt sich auf oberflächliche Merkmale zu verlassen. Dadurch bleibt die Attribution auch nach Code-Verfälschung, Kommentarentfernung und umfangreichen Code-Transformationen effektiv. Um offene Wissenschaft und Reproduzierbarkeit zu unterstützen, veröffentlichen wir den LLM-NodeJS-Datensatz, Google Colab-Trainingsskripte und alle zugehörigen Materialien auf GitHub: https://github.com/LLM-NodeJS-dataset.

English

In this paper, we present the first large-scale study exploring whether JavaScript code generated by Large Language Models (LLMs) can reveal which model produced it, enabling reliable authorship attribution and model fingerprinting. With the rapid rise of AI-generated code, attribution is playing a critical role in detecting vulnerabilities, flagging malicious content, and ensuring accountability. While AI-vs-human detection usually treats AI as a single category we show that individual LLMs leave unique stylistic signatures, even among models belonging to the same family or parameter size. To this end, we introduce LLM-NodeJS, a dataset of 50,000 Node.js back-end programs from 20 large language models. Each has four transformed variants, yielding 250,000 unique JavaScript samples and two additional representations (JSIR and AST) for diverse research applications. Using this dataset, we benchmark traditional machine learning classifiers against fine-tuned Transformer encoders and introduce CodeT5-JSA, a custom architecture derived from the 770M-parameter CodeT5 model with its decoder removed and a modified classification head. It achieves 95.8% accuracy on five-class attribution, 94.6% on ten-class, and 88.5% on twenty-class tasks, surpassing other tested models such as BERT, CodeBERT, and Longformer. We demonstrate that classifiers capture deeper stylistic regularities in program dataflow and structure, rather than relying on surface-level features. As a result, attribution remains effective even after mangling, comment removal, and heavy code transformations. To support open science and reproducibility, we release the LLM-NodeJS dataset, Google Colab training scripts, and all related materials on GitHub: https://github.com/LLM-NodeJS-dataset.