CodeCompose: 대규모 산업 환경에서의 AI 지원 코드 작성 시스템 배포

초록

대규모 언어 모델(LLM)의 부상은 소프트웨어 개발 분야에서 이 기술의 다양한 응용 가능성을 열어주었다. 특히, 생성형 LLM은 코드 작성 중 전체 문장 또는 코드 블록을 제안할 수 있는 AI 기반 코드 작성 도구를 효과적으로 구동하는 것으로 입증되었다. 본 논문에서는 Meta 내부에서 개발 및 배포된 AI 지원 코드 작성 도구인 CodeCompose를 소개한다. CodeCompose는 생성 능력과 양방향성을 결합한 InCoder LLM을 기반으로 한다. 우리는 CodeCompose를 확장하여 Meta 내 10개 이상의 프로그래밍 언어와 여러 코딩 환경에서 수만 명의 개발자에게 서비스를 제공하고 있다. 대규모 산업 환경에서 이러한 도구를 배포할 때 발생하는 사용자 경험 및 메트릭과 관련된 독특한 도전 과제에 대해 논의한다. 이러한 도전 과제를 해결하기 위해 CodeCompose의 모델 및 시스템 아키텍처에 대한 설계 결정을 내린 경험을 제시한다. 마지막으로, 15일 동안 CodeCompose가 Meta 내부 코드 작성 경험에 미친 영향을 보여주는 대규모 배포 메트릭을 제시한다. 이 기간 동안 CodeCompose는 450만 건의 제안을 생성했다. 정량적 메트릭은 (i) CodeCompose가 여러 언어에서 22%의 수락률을 보이며, (ii) CodeCompose 사용자가 입력한 코드의 8%가 CodeCompose의 코드 제안을 수락한 것임을 나타낸다. 정성적 피드백은 CodeCompose에 대해 압도적으로 91.5%의 긍정적인 반응을 보여준다. 코드 작성 지원 외에도 CodeCompose는 개발자가 더 많은 인라인 문서를 생성하도록 장려하고, 새로운 API를 발견하는 데 도움을 주는 등 다른 긍정적인 부수 효과를 도입하고 있다.

English

The rise of large language models (LLMs) has unlocked various applications of this technology in software development. In particular, generative LLMs have been shown to effectively power AI-based code authoring tools that can suggest entire statements or blocks of code during code authoring. In this paper we present CodeCompose, an AI-assisted code authoring tool developed and deployed at Meta internally. CodeCompose is based on the InCoder LLM that merges generative capabilities with bi-directionality. We have scaled up CodeCompose to serve tens of thousands of developers at Meta, across 10+ programming languages and several coding surfaces. We discuss unique challenges in terms of user experience and metrics that arise when deploying such tools in large-scale industrial settings. We present our experience in making design decisions about the model and system architecture for CodeCompose that addresses these challenges. Finally, we present metrics from our large-scale deployment of CodeCompose that shows its impact on Meta's internal code authoring experience over a 15-day time window, where 4.5 million suggestions were made by CodeCompose. Quantitative metrics reveal that (i) CodeCompose has an acceptance rate of 22% across several languages, and (ii) 8% of the code typed by users of CodeCompose is through accepting code suggestions from CodeCompose. Qualitative feedback indicates an overwhelming 91.5% positive reception for CodeCompose. In addition to assisting with code authoring, CodeCompose is also introducing other positive side effects such as encouraging developers to generate more in-code documentation, helping them with the discovery of new APIs, etc.

CodeCompose: 대규모 산업 환경에서의 AI 지원 코드 작성 시스템 배포

CodeCompose: A Large-Scale Industrial Deployment of AI-assisted Code Authoring

초록

Support