CodeTF: Eine All-in-One-Transformer-Bibliothek für modernste Code-LLM

CodeTF: One-stop Transformer Library for State-of-the-art Code LLM

May 31, 2023

Autoren: Nghi D. Q. Bui, Hung Le, Yue Wang, Junnan Li, Akhilesh Deepak Gotmare, Steven C. H. Hoi

cs.AI

Zusammenfassung

Code Intelligence spielt eine Schlüsselrolle bei der Transformation der modernen Softwareentwicklung. Kürzlich haben Deep-Learning-Modelle, insbesondere Transformer-basierte große Sprachmodelle (LLMs), bemerkenswertes Potenzial bei der Bewältigung dieser Aufgaben gezeigt, indem sie massive Open-Source-Code-Daten und Programmiersprachenmerkmale nutzen. Die Entwicklung und Bereitstellung solcher Modelle erfordert jedoch oft Expertise sowohl im Bereich des maschinellen Lernens als auch der Softwareentwicklung, was eine Barriere für die Einführung der Modelle darstellt. In diesem Artikel stellen wir CodeTF vor, eine Open-Source-Transformer-basierte Bibliothek für state-of-the-art Code LLMs und Code Intelligence. Nach den Prinzipien des modularen Designs und erweiterbaren Frameworks haben wir CodeTF mit einer einheitlichen Schnittstelle entwickelt, um einen schnellen Zugriff und die Entwicklung über verschiedene Modelltypen, Datensätze und Aufgaben hinweg zu ermöglichen. Unsere Bibliothek unterstützt eine Sammlung vortrainierter Code-LLM-Modelle und beliebter Code-Benchmarks, einschließlich einer standardisierten Schnittstelle zum effizienten Trainieren und Bereitstellen von Code LLMs sowie Datenmerkmalen wie sprachspezifischen Parsern und Utility-Funktionen zur Extraktion von Code-Attributen. In diesem Artikel beschreiben wir die Designprinzipien, die Architektur, Schlüsselmodule und -komponenten und vergleichen sie mit anderen verwandten Bibliothekswerkzeugen. Schließlich hoffen wir, dass CodeTF die Lücke zwischen maschinellem Lernen/generativer KI und Softwareentwicklung überbrücken kann und eine umfassende Open-Source-Lösung für Entwickler, Forscher und Praktiker bietet.

English

Code intelligence plays a key role in transforming modern software engineering. Recently, deep learning-based models, especially Transformer-based large language models (LLMs), have demonstrated remarkable potential in tackling these tasks by leveraging massive open-source code data and programming language features. However, the development and deployment of such models often require expertise in both machine learning and software engineering, creating a barrier for the model adoption. In this paper, we present CodeTF, an open-source Transformer-based library for state-of-the-art Code LLMs and code intelligence. Following the principles of modular design and extensible framework, we design CodeTF with a unified interface to enable rapid access and development across different types of models, datasets and tasks. Our library supports a collection of pretrained Code LLM models and popular code benchmarks, including a standardized interface to train and serve code LLMs efficiently, and data features such as language-specific parsers and utility functions for extracting code attributes. In this paper, we describe the design principles, the architecture, key modules and components, and compare with other related library tools. Finally, we hope CodeTF is able to bridge the gap between machine learning/generative AI and software engineering, providing a comprehensive open-source solution for developers, researchers, and practitioners.