Het verborgen DNA van door LLM gegenereerde JavaScript: structurele patronen maken nauwkeurige auteurschapstoewijzing mogelijk

The Hidden DNA of LLM-Generated JavaScript: Structural Patterns Enable High-Accuracy Authorship Attribution

October 12, 2025

Auteurs: Norbert Tihanyi, Bilel Cherif, Richard A. Dubniczky, Mohamed Amine Ferrag, Tamás Bisztray

cs.AI

Samenvatting

In dit artikel presenteren we de eerste grootschalige studie die onderzoekt of JavaScript-code gegenereerd door Large Language Models (LLMs) kan onthullen welk model deze heeft geproduceerd, waardoor betrouwbare auteurschapstoewijzing en model fingerprinting mogelijk wordt. Met de snelle opkomst van AI-gegenereerde code speelt toewijzing een cruciale rol bij het detecteren van kwetsbaarheden, het markeren van kwaadaardige inhoud en het waarborgen van verantwoordelijkheid. Terwijl AI-vs-mens detectie AI meestal als één categorie behandelt, tonen we aan dat individuele LLMs unieke stilistische handtekeningen achterlaten, zelfs onder modellen die tot dezelfde familie of parameteromvang behoren. Hiertoe introduceren we LLM-NodeJS, een dataset van 50.000 Node.js back-end programma's van 20 grote taalmodellen. Elk heeft vier getransformeerde varianten, wat resulteert in 250.000 unieke JavaScript-monsters en twee aanvullende representaties (JSIR en AST) voor diverse onderzoeksapplicaties. Met behulp van deze dataset vergelijken we traditionele machine learning-classificatiemodellen met fijn afgestemde Transformer-encoders en introduceren we CodeT5-JSA, een aangepaste architectuur afgeleid van het 770M-parameter CodeT5-model met de decoder verwijderd en een aangepaste classificatiekop. Het behaalt een nauwkeurigheid van 95,8% op vijfklassentoewijzing, 94,6% op tienklassen en 88,5% op twintigklassen taken, wat andere geteste modellen zoals BERT, CodeBERT en Longformer overtreft. We tonen aan dat classificatiemodellen diepere stilistische regelmatigheden in programmadatastroom en -structuur vastleggen, in plaats van te vertrouwen op oppervlakkige kenmerken. Als gevolg blijft toewijzing effectief, zelfs na mangling, verwijdering van commentaar en zware codetransformaties. Om open wetenschap en reproduceerbaarheid te ondersteunen, publiceren we de LLM-NodeJS dataset, Google Colab trainingsscripts en alle gerelateerde materialen op GitHub: https://github.com/LLM-NodeJS-dataset.

English

In this paper, we present the first large-scale study exploring whether JavaScript code generated by Large Language Models (LLMs) can reveal which model produced it, enabling reliable authorship attribution and model fingerprinting. With the rapid rise of AI-generated code, attribution is playing a critical role in detecting vulnerabilities, flagging malicious content, and ensuring accountability. While AI-vs-human detection usually treats AI as a single category we show that individual LLMs leave unique stylistic signatures, even among models belonging to the same family or parameter size. To this end, we introduce LLM-NodeJS, a dataset of 50,000 Node.js back-end programs from 20 large language models. Each has four transformed variants, yielding 250,000 unique JavaScript samples and two additional representations (JSIR and AST) for diverse research applications. Using this dataset, we benchmark traditional machine learning classifiers against fine-tuned Transformer encoders and introduce CodeT5-JSA, a custom architecture derived from the 770M-parameter CodeT5 model with its decoder removed and a modified classification head. It achieves 95.8% accuracy on five-class attribution, 94.6% on ten-class, and 88.5% on twenty-class tasks, surpassing other tested models such as BERT, CodeBERT, and Longformer. We demonstrate that classifiers capture deeper stylistic regularities in program dataflow and structure, rather than relying on surface-level features. As a result, attribution remains effective even after mangling, comment removal, and heavy code transformations. To support open science and reproducibility, we release the LLM-NodeJS dataset, Google Colab training scripts, and all related materials on GitHub: https://github.com/LLM-NodeJS-dataset.