El ADN oculto del JavaScript generado por LLM: Los patrones estructurales permiten una atribución de autoría de alta precisión

The Hidden DNA of LLM-Generated JavaScript: Structural Patterns Enable High-Accuracy Authorship Attribution

October 12, 2025

Autores: Norbert Tihanyi, Bilel Cherif, Richard A. Dubniczky, Mohamed Amine Ferrag, Tamás Bisztray

cs.AI

Resumen

En este artículo, presentamos el primer estudio a gran escala que explora si el código JavaScript generado por Modelos de Lenguaje de Gran Escala (LLMs) puede revelar qué modelo lo produjo, permitiendo una atribución de autoría confiable y la identificación de huellas digitales del modelo. Con el rápido auge del código generado por IA, la atribución está desempeñando un papel crucial en la detección de vulnerabilidades, el marcado de contenido malicioso y la garantía de responsabilidad. Mientras que la detección de IA frente a humanos suele tratar a la IA como una única categoría, demostramos que los LLMs individuales dejan firmas estilísticas únicas, incluso entre modelos pertenecientes a la misma familia o con un tamaño de parámetros similar. Para ello, presentamos LLM-NodeJS, un conjunto de datos de 50,000 programas back-end de Node.js provenientes de 20 modelos de lenguaje de gran escala. Cada uno tiene cuatro variantes transformadas, lo que resulta en 250,000 muestras únicas de JavaScript y dos representaciones adicionales (JSIR y AST) para diversas aplicaciones de investigación. Utilizando este conjunto de datos, comparamos clasificadores tradicionales de aprendizaje automático con codificadores Transformer ajustados e introducimos CodeT5-JSA, una arquitectura personalizada derivada del modelo CodeT5 de 770 millones de parámetros, con su decodificador eliminado y una cabeza de clasificación modificada. Este alcanza un 95.8% de precisión en tareas de atribución de cinco clases, un 94.6% en diez clases y un 88.5% en veinte clases, superando a otros modelos probados como BERT, CodeBERT y Longformer. Demostramos que los clasificadores capturan regularidades estilísticas más profundas en el flujo de datos y la estructura del programa, en lugar de depender de características superficiales. Como resultado, la atribución sigue siendo efectiva incluso después de la ofuscación, la eliminación de comentarios y transformaciones intensas del código. Para apoyar la ciencia abierta y la reproducibilidad, publicamos el conjunto de datos LLM-NodeJS, los scripts de entrenamiento en Google Colab y todos los materiales relacionados en GitHub: https://github.com/LLM-NodeJS-dataset.

English

In this paper, we present the first large-scale study exploring whether JavaScript code generated by Large Language Models (LLMs) can reveal which model produced it, enabling reliable authorship attribution and model fingerprinting. With the rapid rise of AI-generated code, attribution is playing a critical role in detecting vulnerabilities, flagging malicious content, and ensuring accountability. While AI-vs-human detection usually treats AI as a single category we show that individual LLMs leave unique stylistic signatures, even among models belonging to the same family or parameter size. To this end, we introduce LLM-NodeJS, a dataset of 50,000 Node.js back-end programs from 20 large language models. Each has four transformed variants, yielding 250,000 unique JavaScript samples and two additional representations (JSIR and AST) for diverse research applications. Using this dataset, we benchmark traditional machine learning classifiers against fine-tuned Transformer encoders and introduce CodeT5-JSA, a custom architecture derived from the 770M-parameter CodeT5 model with its decoder removed and a modified classification head. It achieves 95.8% accuracy on five-class attribution, 94.6% on ten-class, and 88.5% on twenty-class tasks, surpassing other tested models such as BERT, CodeBERT, and Longformer. We demonstrate that classifiers capture deeper stylistic regularities in program dataflow and structure, rather than relying on surface-level features. As a result, attribution remains effective even after mangling, comment removal, and heavy code transformations. To support open science and reproducibility, we release the LLM-NodeJS dataset, Google Colab training scripts, and all related materials on GitHub: https://github.com/LLM-NodeJS-dataset.