InCoder-32B: 산업 현장을 위한 코드 파운데이션 모델

초록

최근 대규모 코드 언어 모델은 일반 프로그래밍 작업에서 놀라운 진전을 이루었습니다. 그러나 하드웨어 의미론, 특화된 언어 구조, 엄격한 자원 제약에 대한 추론이 필요한 산업 현장 시나리오에서는 그 성능이 현저히 저하됩니다. 이러한 문제를 해결하기 위해 우리는 칩 설계, GPU 커널 최적화, 임베디드 시스템, 컴파일러 최적화, 3D 모델링에 이르는 코드 인텔리전스를 통합한 최초의 320억 파라미터 코드 기반 모델인 InCoder-32B(Industrial-Coder-32B)를 소개합니다. 효율적인 아키텍처를 채택하여 InCoder-32B를 일반 코드 사전 학습, 정제된 산업 코드 어닐링, 합성 산업 추론 데이터로 컨텍스트를 8K에서 128K 토큰까지 점진적으로 확장하는 중간 학습, 실행 기반 검증을 통한 사후 학습으로 처음부터 학습시켰습니다. 14개의 주류 일반 코드 벤치마크와 4개의 특화된 도메인을 아우르는 9개의 산업 벤치마크에 대해 광범위한 평가를 수행했습니다. 결과에 따르면 InCoder-32B는 일반 작업에서 매우 경쟁력 있는 성능을 달성하는 동시에 산업 도메인 전반에 걸쳐 강력한 오픈소스 기준을 수립했습니다.

English

Recent code large language models have achieved remarkable progress on general programming tasks. Nevertheless, their performance degrades significantly in industrial scenarios that require reasoning about hardware semantics, specialized language constructs, and strict resource constraints. To address these challenges, we introduce InCoder-32B (Industrial-Coder-32B), the first 32B-parameter code foundation model unifying code intelligence across chip design, GPU kernel optimization, embedded systems, compiler optimization, and 3D modeling. By adopting an efficient architecture, we train InCoder-32B from scratch with general code pre-training, curated industrial code annealing, mid-training that progressively extends context from 8K to 128K tokens with synthetic industrial reasoning data, and post-training with execution-grounded verification. We conduct extensive evaluation on 14 mainstream general code benchmarks and 9 industrial benchmarks spanning 4 specialized domains. Results show InCoder-32B achieves highly competitive performance on general tasks while establishing strong open-source baselines across industrial domains.

InCoder-32B: 산업 현장을 위한 코드 파운데이션 모델

InCoder-32B: Code Foundation Model for Industrial Scenarios

초록

Support