Contextualización estática de modelos de lenguaje grandes con huecos tipados

Statically Contextualizing Large Language Models with Typed Holes

September 2, 2024

Autores: Andrew Blinn, Xiang Li, June Hyung Kim, Cyrus Omar

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han transformado el panorama de la síntesis de programas. Sin embargo, los sistemas contemporáneos de completado de código basados en LLMs a menudo generan código incorrecto debido a la falta de contexto adecuado, especialmente cuando trabajan con definiciones que no están en los datos de entrenamiento ni cerca del cursor. Este artículo demuestra que una integración estrecha con la estructura de tipos y enlaces de un lenguaje, expuesta por su servidor de lenguaje, puede abordar este problema de contextualización de manera eficiente en términos de tokens. En resumen, sostenemos que las IA también necesitan IDEs. En particular, integramos la generación de código mediante LLMs en el entorno de bosquejo de programas en vivo Hazel. El Servidor de Lenguaje de Hazel identifica el tipo y el contexto de tipado del hueco que se está completando, incluso en presencia de errores, asegurando que siempre esté disponible un bosquejo de programa significativo. Esto permite generar indicaciones con información contextual de todo el código base que no es léxicamente local al cursor, ni necesariamente en el mismo archivo, pero que probablemente sea semánticamente local al objetivo del desarrollador. Las completaciones sintetizadas por el LLM se refinan iterativamente mediante un diálogo adicional con el servidor de lenguaje. Para evaluar estas técnicas, presentamos MVUBench, un conjunto de datos de aplicaciones web de modelo-vista-actualización (MVU). Estas aplicaciones sirven como problemas desafiantes debido a su dependencia de estructuras de datos específicas de la aplicación. Encontramos que la contextualización con definiciones de tipos es particularmente impactante. Después de presentar nuestras ideas en el contexto de Hazel, replicamos nuestras técnicas y portamos MVUBench a TypeScript para validar la aplicabilidad de estos métodos en lenguajes con más recursos. Finalmente, esbozamos ChatLSP, una extensión conservadora del Protocolo de Servidor de Lenguaje (LSP) que los servidores de lenguaje pueden implementar para exponer capacidades que los sistemas de completado de código basados en IA de diversos diseños pueden utilizar para incorporar contexto estático al generar indicaciones para un LLM.

English

Large language models (LLMs) have reshaped the landscape of program synthesis. However, contemporary LLM-based code completion systems often hallucinate broken code because they lack appropriate context, particularly when working with definitions not in the training data nor near the cursor. This paper demonstrates that tight integration with the type and binding structure of a language, as exposed by its language server, can address this contextualization problem in a token-efficient manner. In short, we contend that AIs need IDEs, too! In particular, we integrate LLM code generation into the Hazel live program sketching environment. The Hazel Language Server identifies the type and typing context of the hole being filled, even in the presence of errors, ensuring that a meaningful program sketch is always available. This allows prompting with codebase-wide contextual information not lexically local to the cursor, nor necessarily in the same file, but that is likely to be semantically local to the developer's goal. Completions synthesized by the LLM are then iteratively refined via further dialog with the language server. To evaluate these techniques, we introduce MVUBench, a dataset of model-view-update (MVU) web applications. These applications serve as challenge problems due to their reliance on application-specific data structures. We find that contextualization with type definitions is particularly impactful. After introducing our ideas in the context of Hazel we duplicate our techniques and port MVUBench to TypeScript in order to validate the applicability of these methods to higher-resource languages. Finally, we outline ChatLSP, a conservative extension to the Language Server Protocol (LSP) that language servers can implement to expose capabilities that AI code completion systems of various designs can use to incorporate static context when generating prompts for an LLM.