本番環境におけるAI生成C++の品質プロファイルの特徴づけ

要旨

AIコーディングアシスタントの広範な統合は、開発速度の向上という否定できない利点をもたらす。しかし、最近の研究は、拡大するトレードオフを指摘し、コード品質と保守性に関する根強い課題を明らかにしている。先端AI研究所を含む業界リーダーもこれらの懸念を共有している。大規模言語モデルが本番コードの作成にますます依存されるようになるにつれて、出荷されるソフトウェア品質への影響を理解することが重大な優先事項となっている。しかし、産業ワークフローにおけるこれらの影響の評価は、可観測性の障壁のために依然として困難である。我々は、毎日何十億ものユーザーに依存されるグローバル製品を展開する大企業における、本番品質に対するAI生成コードの影響を研究する。この規模とユーザーの信頼により、当該組織はコード品質を重視し、本番環境にデプロイされるすべてのコード行に対して徹底した可観測性を構築してきた。これにより、測定上の障壁を克服し、これらの影響を評価することが可能となっている。本研究は、2025年4月から2026年4月までのAI生成C++コードに関する大規模な実証分析を提示し、この企業のブラウンフィールドコードベースにおける352万件のコード変更を追跡する。その中心的目的は、大規模な本番環境において、AI生成コードが人間が記述したコードと比較して、品質、性能、保守性の観点からどのような特性を持つかを理解することである。我々は、AI生成C++コードが明確な品質プロファイルを持つことを見いだした。すなわち、インターフェースと結合の負担が高く、コピーとアロケーションのオーバーヘッドが大きく、最適化された標準APIではなく明示的なループに依存する傾向がある。これらの問題は、レビュー工数の増加や計算リソース消費の5〜8%の増加といった、具体的な下流コストに直結する。しかし、モデルに対して分類体系に基づく的を絞ったフィードバックを提供することにより、これらの影響を軽減できることを実証し、対象とした静的解析警告を11.1%削減し、計算効率を向上させることを達成した。

English

The widespread integration of AI coding assistants offers undeniable boosts to engineering velocity. Yet, recent studies point to a growing trade-off, revealing persistent challenges with code quality and maintainability. Industry leaders, including frontier AI labs, echo these concerns. As large language models are increasingly relied upon to author production code, understanding their impact on shipped software quality has become a critical priority. However, assessing these effects in industrial workflows remains difficult due to observability barriers. We study the impact of AI-generated code on production quality within a large enterprise operating global products relied upon by billions of users daily. Driven by this scale and user trust, the organization values code quality and has built thorough observability for every line of code deployed into production, enabling us to overcome measurement barriers to assess these effects. This study presents a large-scale empirical analysis of AI-generated C++ code from April 2025 to April 2026, tracking 3.52 million code changes across this enterprise's brownfield codebase. The core purpose is to understand the quality, performance, and maintenance characteristics of AI-generated code compared to human-written code in a production environment at scale. We find that AI-generated C++ code has a distinct quality profile, showing higher rates of interface and coupling burdens, copy and allocation overheads, and a reliance on explicit loops over optimized standard APIs. These issues translate into tangible downstream costs, including increased review effort and a 5-8% increase in compute resource consumption. However, we demonstrate that providing models with targeted, taxonomy-informed feedback can mitigate these effects, leading to an 11.1% reduction in targeted static analysis warnings and improved computational efficiency.