Contestualizzazione Statica di Modelli Linguistici di Grandi Dimensioni mediante Tipi di Buchi

Statically Contextualizing Large Language Models with Typed Holes

September 2, 2024

Autori: Andrew Blinn, Xiang Li, June Hyung Kim, Cyrus Omar

cs.AI

Abstract

I grandi modelli linguistici (LLM) hanno rimodellato il panorama della sintesi di programmi. Tuttavia, i moderni sistemi di completamento del codice basati su LLM spesso allucinano codice non funzionante poiché mancano del contesto appropriato, specialmente quando lavorano con definizioni non presenti nei dati di addestramento né vicine al cursore. Questo articolo dimostra che una stretta integrazione con la struttura dei tipi e dei binding di un linguaggio, così come esposta dal suo server linguistico, può affrontare questo problema di contestualizzazione in modo efficiente in termini di token. In breve, sosteniamo che anche le IA hanno bisogno degli IDE! In particolare, integriamo la generazione di codice tramite LLM nell'ambiente di sviluppo live per bozze di programma Hazel. L'Hazel Language Server identifica il tipo e il contesto tipizzato del buco da riempire, anche in presenza di errori, garantendo che sia sempre disponibile una bozza di programma significativa. Ciò consente di fornire prompt con informazioni contestuali provenienti dall'intera codebase, che non sono lessicalmente locali al cursore né necessariamente nello stesso file, ma che è probabile siano semanticamente locali all'obiettivo dello sviluppatore. I completamenti sintetizzati dall'LLM vengono poi raffinati in modo iterativo attraverso un ulteriore dialogo con il server linguistico. Per valutare queste tecniche, introduciamo MVUBench, un dataset di applicazioni web model-view-update (MVU). Queste applicazioni fungono da problemi complessi a causa della loro dipendenza da strutture dati specifiche dell'applicazione. Troviamo che la contestualizzazione con le definizioni di tipo sia particolarmente impattante. Dopo aver introdotto le nostre idee nel contesto di Hazel, duplichiamo le nostre tecniche e portiamo MVUBench in TypeScript per convalidare l'applicabilità di questi metodi a linguaggi con più risorse. Infine, delineiamo ChatLSP, un'estensione conservativa del Language Server Protocol (LSP) che i server linguistici possono implementare per esporre capacità che i sistemi di completamento del codice basati su IA di vario design possono utilizzare per incorporare il contesto statico durante la generazione di prompt per un LLM.

English

Large language models (LLMs) have reshaped the landscape of program synthesis. However, contemporary LLM-based code completion systems often hallucinate broken code because they lack appropriate context, particularly when working with definitions not in the training data nor near the cursor. This paper demonstrates that tight integration with the type and binding structure of a language, as exposed by its language server, can address this contextualization problem in a token-efficient manner. In short, we contend that AIs need IDEs, too! In particular, we integrate LLM code generation into the Hazel live program sketching environment. The Hazel Language Server identifies the type and typing context of the hole being filled, even in the presence of errors, ensuring that a meaningful program sketch is always available. This allows prompting with codebase-wide contextual information not lexically local to the cursor, nor necessarily in the same file, but that is likely to be semantically local to the developer's goal. Completions synthesized by the LLM are then iteratively refined via further dialog with the language server. To evaluate these techniques, we introduce MVUBench, a dataset of model-view-update (MVU) web applications. These applications serve as challenge problems due to their reliance on application-specific data structures. We find that contextualization with type definitions is particularly impactful. After introducing our ideas in the context of Hazel we duplicate our techniques and port MVUBench to TypeScript in order to validate the applicability of these methods to higher-resource languages. Finally, we outline ChatLSP, a conservative extension to the Language Server Protocol (LSP) that language servers can implement to expose capabilities that AI code completion systems of various designs can use to incorporate static context when generating prompts for an LLM.