CodeTF: Универсальная библиотека трансформеров для современных языковых моделей программирования

CodeTF: One-stop Transformer Library for State-of-the-art Code LLM

May 31, 2023

Авторы: Nghi D. Q. Bui, Hung Le, Yue Wang, Junnan Li, Akhilesh Deepak Gotmare, Steven C. H. Hoi

cs.AI

Аннотация

Интеллектуальная обработка кода играет ключевую роль в преобразовании современной разработки программного обеспечения. В последнее время модели на основе глубокого обучения, особенно крупные языковые модели (LLM) на базе архитектуры Transformer, продемонстрировали значительный потенциал в решении таких задач, используя огромные объемы открытых данных кода и особенности языков программирования. Однако разработка и внедрение таких моделей часто требуют экспертных знаний как в области машинного обучения, так и в разработке программного обеспечения, что создает барьер для их широкого применения. В данной статье мы представляем CodeTF — открытую библиотеку на основе Transformer для современных LLM, ориентированных на код, и интеллектуальной обработки кода. Следуя принципам модульного дизайна и расширяемой архитектуры, мы разработали CodeTF с унифицированным интерфейсом, позволяющим быстро получать доступ и разрабатывать различные типы моделей, наборы данных и задачи. Наша библиотека поддерживает набор предобученных моделей LLM для кода и популярные бенчмарки, включая стандартизированный интерфейс для эффективного обучения и обслуживания таких моделей, а также функции данных, такие как языково-специфичные парсеры и утилиты для извлечения атрибутов кода. В статье мы описываем принципы проектирования, архитектуру, ключевые модули и компоненты, а также проводим сравнение с другими аналогичными библиотечными инструментами. В заключение мы надеемся, что CodeTF сможет сократить разрыв между машинным обучением/генеративным ИИ и разработкой программного обеспечения, предоставив комплексное открытое решение для разработчиков, исследователей и практиков.

English

Code intelligence plays a key role in transforming modern software engineering. Recently, deep learning-based models, especially Transformer-based large language models (LLMs), have demonstrated remarkable potential in tackling these tasks by leveraging massive open-source code data and programming language features. However, the development and deployment of such models often require expertise in both machine learning and software engineering, creating a barrier for the model adoption. In this paper, we present CodeTF, an open-source Transformer-based library for state-of-the-art Code LLMs and code intelligence. Following the principles of modular design and extensible framework, we design CodeTF with a unified interface to enable rapid access and development across different types of models, datasets and tasks. Our library supports a collection of pretrained Code LLM models and popular code benchmarks, including a standardized interface to train and serve code LLMs efficiently, and data features such as language-specific parsers and utility functions for extracting code attributes. In this paper, we describe the design principles, the architecture, key modules and components, and compare with other related library tools. Finally, we hope CodeTF is able to bridge the gap between machine learning/generative AI and software engineering, providing a comprehensive open-source solution for developers, researchers, and practitioners.