Скрытая ДНК JavaScript, сгенерированного LLM: структурные паттерны обеспечивают высокую точность атрибуции авторства

The Hidden DNA of LLM-Generated JavaScript: Structural Patterns Enable High-Accuracy Authorship Attribution

October 12, 2025

Авторы: Norbert Tihanyi, Bilel Cherif, Richard A. Dubniczky, Mohamed Amine Ferrag, Tamás Bisztray

cs.AI

Аннотация

В данной статье мы представляем первое крупномасштабное исследование, посвящённое вопросу о том, может ли код JavaScript, сгенерированный крупными языковыми моделями (LLM), раскрыть, какая именно модель его создала, что позволяет надёжно устанавливать авторство и идентифицировать модели. С быстрым ростом использования ИИ для генерации кода атрибуция играет критическую роль в обнаружении уязвимостей, маркировке вредоносного контента и обеспечении подотчётности. В то время как методы обнаружения ИИ-сгенерированного кода обычно рассматривают ИИ как единую категорию, мы показываем, что отдельные LLM оставляют уникальные стилистические следы, даже среди моделей, принадлежащих к одному семейству или имеющих одинаковый размер параметров. Для этого мы представляем LLM-NodeJS — набор данных, содержащий 50 000 бэкенд-программ на Node.js, созданных 20 крупными языковыми моделями. Каждая программа имеет четыре преобразованных варианта, что даёт в общей сложности 250 000 уникальных образцов JavaScript, а также два дополнительных представления (JSIR и AST) для разнообразных исследовательских задач. Используя этот набор данных, мы сравниваем традиционные классификаторы машинного обучения с тонко настроенными трансформерными энкодерами и представляем CodeT5-JSA — специализированную архитектуру, основанную на модели CodeT5 с 770 миллионами параметров, из которой удалён декодер и добавлен модифицированный классификационный слой. Она достигает точности 95,8% в задачах атрибуции на пять классов, 94,6% — на десять классов и 88,5% — на двадцать классов, превосходя другие протестированные модели, такие как BERT, CodeBERT и Longformer. Мы демонстрируем, что классификаторы улавливают более глубокие стилистические закономерности в потоке данных и структуре программы, а не полагаются на поверхностные признаки. В результате атрибуция остаётся эффективной даже после искажения кода, удаления комментариев и значительных преобразований. В поддержку открытой науки и воспроизводимости мы публикуем набор данных LLM-NodeJS, скрипты для обучения в Google Colab и все сопутствующие материалы на GitHub: https://github.com/LLM-NodeJS-dataset.

English

In this paper, we present the first large-scale study exploring whether JavaScript code generated by Large Language Models (LLMs) can reveal which model produced it, enabling reliable authorship attribution and model fingerprinting. With the rapid rise of AI-generated code, attribution is playing a critical role in detecting vulnerabilities, flagging malicious content, and ensuring accountability. While AI-vs-human detection usually treats AI as a single category we show that individual LLMs leave unique stylistic signatures, even among models belonging to the same family or parameter size. To this end, we introduce LLM-NodeJS, a dataset of 50,000 Node.js back-end programs from 20 large language models. Each has four transformed variants, yielding 250,000 unique JavaScript samples and two additional representations (JSIR and AST) for diverse research applications. Using this dataset, we benchmark traditional machine learning classifiers against fine-tuned Transformer encoders and introduce CodeT5-JSA, a custom architecture derived from the 770M-parameter CodeT5 model with its decoder removed and a modified classification head. It achieves 95.8% accuracy on five-class attribution, 94.6% on ten-class, and 88.5% on twenty-class tasks, surpassing other tested models such as BERT, CodeBERT, and Longformer. We demonstrate that classifiers capture deeper stylistic regularities in program dataflow and structure, rather than relying on surface-level features. As a result, attribution remains effective even after mangling, comment removal, and heavy code transformations. To support open science and reproducibility, we release the LLM-NodeJS dataset, Google Colab training scripts, and all related materials on GitHub: https://github.com/LLM-NodeJS-dataset.