Статическая контекстуализация больших языковых моделей с использованием типизированных пропусков

Statically Contextualizing Large Language Models with Typed Holes

September 2, 2024

Авторы: Andrew Blinn, Xiang Li, June Hyung Kim, Cyrus Omar

cs.AI

Аннотация

Крупные языковые модели (LLMs) коренным образом изменили ландшафт синтеза программ. Однако современные системы автодополнения кода на основе LLM часто генерируют ошибочный код, поскольку им не хватает соответствующего контекста, особенно при работе с определениями, отсутствующими в обучающих данных или находящимися далеко от позиции курсора. В данной статье показано, что тесная интеграция со структурой типов и привязок языка, предоставляемой его языковым сервером, позволяет решить эту проблему контекстуализации эффективным с точки зрения токенов способом. Короче говоря, мы утверждаем, что ИИ тоже нуждаются в IDE! В частности, мы интегрируем генерацию кода с помощью LLM в среду инкрементального проектирования программ Hazel. Языковой сервер Hazel идентифицирует тип и контекст типизации заполняемой "дыры", даже при наличии ошибок, гарантируя, что осмысленный эскиз программы всегда доступен. Это позволяет использовать для промптинга контекстную информацию со всего кодовой базы, которая не является лексически локальной для курсора и не обязательно находится в том же файле, но, вероятно, семантически близка к цели разработчика. Затем варианты автодополнения, синтезированные LLM, итеративно уточняются посредством дальнейшего диалога с языковым сервером. Для оценки этих методов мы представляем MVUBench, набор данных веб-приложений, построенных по принципу "модель-представление-обновление" (MVU). Эти приложения служат сложными задачами из-за их зависимости от специфичных для приложения структур данных. Мы обнаруживаем, что контекстуализация с использованием определений типов особенно эффективна. После представления наших идей в контексте Hazel мы воспроизводим наши методы и портируем MVUBench на TypeScript, чтобы подтвердить применимость этих методов к языкам с большими ресурсами. Наконец, мы описываем ChatLSP — консервативное расширение протокола языкового сервера (LSP), которое языковые серверы могут реализовать, чтобы предоставить возможности, используемые системами автодополнения кода на основе ИИ различной архитектуры для включения статического контекста при генерации промптов для LLM.

English

Large language models (LLMs) have reshaped the landscape of program synthesis. However, contemporary LLM-based code completion systems often hallucinate broken code because they lack appropriate context, particularly when working with definitions not in the training data nor near the cursor. This paper demonstrates that tight integration with the type and binding structure of a language, as exposed by its language server, can address this contextualization problem in a token-efficient manner. In short, we contend that AIs need IDEs, too! In particular, we integrate LLM code generation into the Hazel live program sketching environment. The Hazel Language Server identifies the type and typing context of the hole being filled, even in the presence of errors, ensuring that a meaningful program sketch is always available. This allows prompting with codebase-wide contextual information not lexically local to the cursor, nor necessarily in the same file, but that is likely to be semantically local to the developer's goal. Completions synthesized by the LLM are then iteratively refined via further dialog with the language server. To evaluate these techniques, we introduce MVUBench, a dataset of model-view-update (MVU) web applications. These applications serve as challenge problems due to their reliance on application-specific data structures. We find that contextualization with type definitions is particularly impactful. After introducing our ideas in the context of Hazel we duplicate our techniques and port MVUBench to TypeScript in order to validate the applicability of these methods to higher-resource languages. Finally, we outline ChatLSP, a conservative extension to the Language Server Protocol (LSP) that language servers can implement to expose capabilities that AI code completion systems of various designs can use to incorporate static context when generating prompts for an LLM.