Apple Silicon에서의 Nanbeige4.2-3B: 배포 버그 수정 및 루프형 트랜스포머 메모리 오버헤드 감소

초록

Nanbeige4.2-3B는 하나의 레이어 스택을 두 번째 순전파에 재사용하여 추가 파라미터 없이 유효 깊이를 늘리는 루프형 트랜스포머(LT)를 기반으로 구축된 3B 파라미터 규모의 에이전트 모델이다. Apple Silicon(MPS) 환경에서 평가한 결과, 공개된 체크포인트가 Hugging Face transformers로 별도의 수정 없이 실행되지 못하게 하는 다섯 가지 독립적인 버그를 식별했다(여기에는 조용히 0으로 설정되는 RoPE 버퍼와 제거된 transformers 캐시 API 호출이 포함된다). 또한, 이러한 버그를 수정하더라도 파라미터 효율성을 달성하기 위해 사용된 LT의 레이어 재사용 전략(이는 최대 어텐션 메모리를 사실상 두 배로 만든다) 때문에 에이전트 작업에는 여전히 충분하지 않음을 보인다. 따라서 우리는 발생하는 메모리 용량 패널티를 완화하는 청크 단위 프리필(chunked-prefill) 전략을 도입하여, 32GiB 공유 메모리에서 허용 컨텍스트 폭을 2.7배 확장한다. 그러나 메모리 오버헤드가 줄어든 경우에도 Nanbeige4.2-3B를 사용 가능하게 만들려면 패치가 필요함을 보인다. 시스템 프롬프트와 MPS 고유 메모리 버그를 모두 해결해야 표준 MCP 및 도구 호출 벤치마크에서 신뢰할 수 있는 평가가 마침내 가능해진다. MCPMark의 하위 집합에서 디버깅된 모델은 실제 에이전트 작업의 최대 30%를 완료하며(원래 모델의 0%에서 증가), BFCL에서는 단일 도구 호출에 거의 완벽한 성능을 보인다(그러나 대부분의 다중 도구 테스트에서는 실패한다). 우리는 패치된 체크포인트, 시스템 프롬프트 최적화 도구, 그리고 평가 하네스를 https://github.com/johnhalloran321/Nanbeige4.2-3B-mps-fix에서 공개한다.

English

Nanbeige4.2-3B is a 3B-parameter agentic model built around a Looped Transformer (LT) that reuses one stack of layers for a second forward pass, adding effective depth without additional parameters. Evaluated on Apple Silicon (MPS), we identify five independent bugs which prevent the released checkpoint from running via Hugging Face transformers out of the box (including a silently-zeroed RoPE buffer and calls to removed transformers cache APIs). Furthermore, we show that fixing these bugs is still not sufficient for agentic tasks, due to the LT's layer-reuse strategy (which effectively doubles peak attention memory) used to achieve parameter efficiency. We thus introduce a chunked-prefill strategy which alleviates the incurred memory-capacity penalty, extending allowable context width by 2.7 times on 32~GiB shared memory. However, even with the reduced memory overhead, we show that patches are required to render Nanbeige4.2-3B usable; resolving both system prompt and MPS-native memory bugs finally allows reliable evaluation on standard MCP and tool-calling benchmarks. On a subset of MCPMark, the debugged model completes up to 30\% of real agentic tasks (up from the original's 0\%), while, on BFCL, it is near-perfect at single tool calls (yet fails the majority of multi-tool tests). We release the patched checkpoint, system prompt optimizer, and evaluation harnesses at https://github.com/johnhalloran321/Nanbeige4.2-3B-mps-fix.