Linee guida per il prompt dei modelli linguistici di grandi dimensioni nella generazione di codice: una caratterizzazione empirica

Guidelines to Prompt Large Language Models for Code Generation: An Empirical Characterization

January 19, 2026

Autori: Alessandro Midolo, Alessandro Giagnorio, Fiorella Zampetti, Rosalia Tufano, Gabriele Bavota, Massimiliano Di Penta

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) sono oggi ampiamente utilizzati per vari tipi di attività di ingegneria del software, principalmente per la generazione di codice. Ricerche precedenti hanno dimostrato come un'adeguata *prompt engineering* possa aiutare gli sviluppatori a migliorare i propri prompt per la generazione di codice. Tuttavia, finora, non esistono linee guida specifiche che guidino gli sviluppatori nella scrittura di prompt adatti per la generazione di codice. In questo lavoro, deriviamo e valutiamo linee guida specifiche per lo sviluppo per l'ottimizzazione dei prompt. In primo luogo, utilizziamo un approccio iterativo e *test-driven* per perfezionare automaticamente i prompt di generazione del codice e analizziamo l'esito di questo processo per identificare gli elementi di miglioramento del prompt che portano al superamento dei test. Utilizziamo tali elementi per ricavare 10 linee guida per il miglioramento dei prompt, relative a una migliore specificazione di input/output, condizioni pre-post, fornitura di esempi, vari tipi di dettagli o chiarimento di ambiguità. Effettuiamo una valutazione con 50 professionisti, che riportano il loro utilizzo degli schemi di miglioramento dei prompt ricavati, nonché la loro percezione di utilità, che non sempre corrisponde all'utilizzo effettivo prima di conoscere le nostre linee guida. I nostri risultati portano a implicazioni non solo per i professionisti e gli educatori, ma anche per coloro che mirano a creare strumenti di sviluppo software migliori assistiti dagli LLM.

English

Large Language Models (LLMs) are nowadays extensively used for various types of software engineering tasks, primarily code generation. Previous research has shown how suitable prompt engineering could help developers in improving their code generation prompts. However, so far, there do not exist specific guidelines driving developers towards writing suitable prompts for code generation. In this work, we derive and evaluate development-specific prompt optimization guidelines. First, we use an iterative, test-driven approach to automatically refine code generation prompts, and we analyze the outcome of this process to identify prompt improvement items that lead to test passes. We use such elements to elicit 10 guidelines for prompt improvement, related to better specifying I/O, pre-post conditions, providing examples, various types of details, or clarifying ambiguities. We conduct an assessment with 50 practitioners, who report their usage of the elicited prompt improvement patterns, as well as their perceived usefulness, which does not always correspond to the actual usage before knowing our guidelines. Our results lead to implications not only for practitioners and educators, but also for those aimed at creating better LLM-aided software development tools.