Contextualização Estática de Modelos de Linguagem de Grande Porte com Buracos Tipados

Statically Contextualizing Large Language Models with Typed Holes

September 2, 2024

Autores: Andrew Blinn, Xiang Li, June Hyung Kim, Cyrus Omar

cs.AI

Resumo

Os grandes modelos de linguagem (LLMs) remodelaram o panorama da síntese de programas. No entanto, os sistemas contemporâneos de conclusão de código baseados em LLM frequentemente alucinam código incorreto porque carecem de contexto apropriado, particularmente ao trabalhar com definições que não estão nos dados de treinamento nem próximas do cursor. Este artigo demonstra que uma integração estreita com a estrutura de tipos e vinculação de uma linguagem, tal como exposta pelo seu servidor de linguagem, pode resolver este problema de contextualização de forma eficiente em termos de *tokens*. Em suma, defendemos que as IAs também precisam de IDEs! Em particular, integramos a geração de código por LLM no ambiente de esboço de programas ao vivo Hazel. O Hazel Language Server identifica o tipo e o contexto de tipagem do espaço (*hole*) que está sendo preenchido, mesmo na presença de erros, garantindo que um esboço de programa significativo esteja sempre disponível. Isso permite o *prompting* com informações contextuais de todo o código-fonte que não são lexicalmente locais ao cursor, nem necessariamente no mesmo arquivo, mas que provavelmente são semanticamente locais ao objetivo do desenvolvedor. As conclusões sintetizadas pelo LLM são então refinadas iterativamente por meio de um diálogo adicional com o servidor de linguagem. Para avaliar essas técnicas, introduzimos o MVUBench, um *dataset* de aplicações web *model-view-update* (MVU). Essas aplicações servem como problemas desafiadores devido à sua dependência de estruturas de dados específicas da aplicação. Concluímos que a contextualização com definições de tipos é particularmente impactante. Após introduzir nossas ideias no contexto do Hazel, duplicamos nossas técnicas e portamos o MVUBench para TypeScript a fim de validar a aplicabilidade desses métodos a linguagens com mais recursos. Por fim, esboçamos o ChatLSP, uma extensão conservadora ao *Language Server Protocol* (LSP) que os servidores de linguagem podem implementar para expor capacidades que os sistemas de conclusão de código por IA de vários designs podem usar para incorporar contexto estático ao gerar *prompts* para um LLM.

English

Large language models (LLMs) have reshaped the landscape of program synthesis. However, contemporary LLM-based code completion systems often hallucinate broken code because they lack appropriate context, particularly when working with definitions not in the training data nor near the cursor. This paper demonstrates that tight integration with the type and binding structure of a language, as exposed by its language server, can address this contextualization problem in a token-efficient manner. In short, we contend that AIs need IDEs, too! In particular, we integrate LLM code generation into the Hazel live program sketching environment. The Hazel Language Server identifies the type and typing context of the hole being filled, even in the presence of errors, ensuring that a meaningful program sketch is always available. This allows prompting with codebase-wide contextual information not lexically local to the cursor, nor necessarily in the same file, but that is likely to be semantically local to the developer's goal. Completions synthesized by the LLM are then iteratively refined via further dialog with the language server. To evaluate these techniques, we introduce MVUBench, a dataset of model-view-update (MVU) web applications. These applications serve as challenge problems due to their reliance on application-specific data structures. We find that contextualization with type definitions is particularly impactful. After introducing our ideas in the context of Hazel we duplicate our techniques and port MVUBench to TypeScript in order to validate the applicability of these methods to higher-resource languages. Finally, we outline ChatLSP, a conservative extension to the Language Server Protocol (LSP) that language servers can implement to expose capabilities that AI code completion systems of various designs can use to incorporate static context when generating prompts for an LLM.