프로그램-가중치: 퍼지 함수를 위한 프로그래밍 패러다임

초록

많은 일상적인 프로그래밍 작업(예: 중요 로그 라인 알림, 깨진 JSON 복구, 의도에 따른 검색 결과 순위 매기기)은 명확한 규칙 기반 구현에 저항하며, 점점 더 대규모 언어 모델 API에 아웃소싱되고 있지만 이는 지역성, 재현성, 비용 측면에서 손해를 감수해야 합니다. 우리는 퍼지 함수 프로그래밍(fuzzy-function programming)을 제안합니다: 자연어 명세로부터 그러한 함수를 컴파일하여 컴팩트하고 로컬에서 실행 가능한 신경 아티팩트(neural artifact)로 만드는 것입니다. 우리는 이 패러다임을 PAW(Program-as-Weights)로 구체화합니다. PAW에서는 FuzzyBench(우리가 공개하는 1천만 개 예제 데이터셋)에서 학습된 4B 컴파일러가 동결된 경량 인터프리터를 위한 파라미터 효율적 어댑터(parameter-efficient adapter)를 생성합니다. PAW 프로그램을 실행하는 0.6B Qwen3 인터프리터는 Qwen3-32B의 직접 프롬프팅과 동등한 성능을 달성하면서도, 추론 메모리는 약 50분의 1만 사용하고 MacBook M3에서 초당 30토큰으로 실행됩니다. PAW는 파운데이션 모델을 입력별 문제 해결사에서 도구 제작자로 재정의합니다: 함수 정의당 한 번 호출되어 작은 재사용 가능한 아티팩트를 생성하며, 이후 함수 적용 시 호출은 저렴하고 오프라인에서 이루어집니다.

English

Many everyday programming tasks resist clean rule-based implementation, such as alerting on important log lines, repairing malformed JSON, or ranking search results by intent, and are increasingly outsourced to large language model APIs at the cost of locality, reproducibility, and price. We propose fuzzy-function programming: compiling such a function from a natural-language specification into a compact, locally-executable neural artifact. We instantiate this paradigm with Program-as-Weights (PAW), in which a 4B compiler trained on FuzzyBench, a 10M-example dataset we release, emits parameter-efficient adapters for a frozen, lightweight interpreter. A 0.6B Qwen3 interpreter executing PAW programs matches the performance of direct prompting of Qwen3-32B, while using roughly one fiftieth of the inference memory and running at 30 tokens/s on a MacBook M3. PAW reframes the foundation model from a per-input problem solver into a tool builder: invoked once per function definition, it produces a small reusable artifact whose subsequent calls per function application are cheap and offline.