Eine Übersicht über Sprachmodelle für Code

A Survey on Language Models for Code

November 14, 2023

Autoren: Ziyin Zhang, Chaoyu Chen, Bingchang Liu, Cong Liao, Zi Gong, Hang Yu, Jianguo Li, Rui Wang

cs.AI

Zusammenfassung

In dieser Arbeit geben wir einen systematischen Überblick über die jüngsten Fortschritte in der Codeverarbeitung mit Sprachmodellen, wobei wir mehr als 50 Modelle, über 30 Evaluierungsaufgaben und 500 verwandte Arbeiten abdecken. Wir unterteilen die Modelle zur Codeverarbeitung in allgemeine Sprachmodelle, die durch die GPT-Familie repräsentiert werden, und spezialisierte Modelle, die speziell auf Code vortrainiert sind, oft mit maßgeschneiderten Zielsetzungen. Wir diskutieren die Beziehungen und Unterschiede zwischen diesen Modellen und heben den historischen Übergang der Codemodellierung von statistischen Modellen und RNNs zu vortrainierten Transformern und LLMs hervor, was genau dem Weg entspricht, den die NLP eingeschlagen hat. Wir behandeln auch codespezifische Merkmale wie AST, CFG und Unit-Tests sowie deren Anwendung beim Training von Code-Sprachmodellen und identifizieren zentrale Herausforderungen und potenzielle zukünftige Richtungen in diesem Bereich. Wir halten die Übersicht offen und aktualisiert in einem GitHub-Repository unter https://github.com/codefuse-ai/Awesome-Code-LLM.

English

In this work we systematically review the recent advancements in code processing with language models, covering 50+ models, 30+ evaluation tasks, and 500 related works. We break down code processing models into general language models represented by the GPT family and specialized models that are specifically pretrained on code, often with tailored objectives. We discuss the relations and differences between these models, and highlight the historical transition of code modeling from statistical models and RNNs to pretrained Transformers and LLMs, which is exactly the same course that had been taken by NLP. We also discuss code-specific features such as AST, CFG, and unit tests, along with their application in training code language models, and identify key challenges and potential future directions in this domain. We keep the survey open and updated on github repository at https://github.com/codefuse-ai/Awesome-Code-LLM.