프로덕션 트래픽부터 사후 학습까지: 기업 요청 믹스를 포괄하는 자체 호스팅 LLM 구축

초록

데이터 레지던시(data residency) 제약 때문에 기업들은 LLM을 자체 호스팅해야 한다. 그러나 이전 모델을 서비스에서 내리지 않은 채 최신 모델을 계속 도입하면 서빙 플릿(fleet)이 확장되어 한정된 GPU 풀이 단편화된다. 우리는 프로덕션 오류 분석을 통해 지시 수행(instruction following)·함수 호출(function calling)·내부 태스크 분포(internal task distribution)의 세 축에서 식별된 품질 격차를 해소함으로써 200개 이상의 내부 애플리케이션 트래픽을 단일 모델로 통합한다. 품질은 프로덕션 트래픽 분포에 맞춰 층화된 오프라인 벤치마크로 추적되며, 결정적 검증기(deterministic verifier) 또는 보정된 LLM 평가자(calibrated LLM judge)가 채점한다. 모든 목표를 공동 최적화하면 도메인 간 보상 간섭이 발생하므로 우리는 축마다 별도의 GRPO 전문가를 학습하고 이를 2단계 SLERP로 병합한다. 각 전문가의 보상은 서로 다른 실패 모드, 즉 의미론적 붕괴(semantic collapse), 함수 과잉 호출(over-calling), 장황성 해킹(verbosity hacking)을 드러내며, 각각 도메인 특화 수정이 필요하다. 비추론(non-reasoning) 모드에서 이 방법은 자체 Arena(69.6 대 65.8), 지시 수행(0.85 대 0.83), 함수 호출(0.79 대 0.77) 부문에서 총 파라미터 수가 약 7배 더 큰 기준 모델을 능가하며, 일반 대화 벤치마크도 향상시킨다. 이 모델은 월 1억 1600만 건의 요청, 즉 플랫폼 트래픽의 50%를 기존 서빙 비용의 극히 일부만으로 처리한다.

English

Data-residency constraints force enterprises to self-host LLMs, but continuous adoption of newer models without decommissioning their predecessors expands the serving fleet, fragmenting a finite GPU pool. We consolidate traffic from over 200 internal applications onto a single model by closing quality gaps identified through production error analysis along three axes: instruction following, function-calling, and internal task distribution. Quality is tracked by offline benchmarks stratified to production traffic and scored by deterministic verifiers or calibrated LLM judges. Rather than optimising all objectives jointly, which introduces cross-domain reward interference, we train a separate GRPO expert per axis and merge them via two-stage SLERP. Each expert's reward exposes a distinct failure mode, namely semantic collapse, over-calling, and verbosity hacking, each requiring a domain-specific fix. In non-reasoning mode the recipe surpasses a {sim}7times larger by total parameters baseline on the in-house Arena with 69.6 to 65.8, instruction following with 0.85 to 0.83, and function-calling with 0.79 to 0.77, while lifting general dialogue benchmarks. The model absorbs 50% of platform traffic, 116M requests per month, at a fraction of the serving cost.