다이달로스-150M: CPU 추론을 위해 설계된 합성곱-어텐션 하이브리드 모델

초록

소형 언어 모델은 대개 대형 모델과 같은 방식으로 구축된 뒤 나중에 CPU에 맞게 압축된다. 우리는 그 반대로 접근했다. 즉, 한 명의 사용자, 한 번에 하나의 토큰, 4비트 가중치, 일반 CPU라는 목표를 먼저 고정한 뒤 이에 적합한 아키텍처를 선택했다. 그 결과, 전체 어텐션은 18개 블록 중 6개에만 유지된다. 나머지 12개 블록은 짧은 컨볼루션을 사용하는데, 이 컨볼루션의 메모리는 대화가 아무리 길어져도 두 타임스텝 폭에 불과하다. 따라서 네트워크의 3분의 2는 점점 커지는 캐시를 다시 읽지 않는다. 이 모델은 599억 개의 토큰으로 처음부터 훈련되었으며, 훈련 시작 전에 고정된 기준점 42.20을 상대로 5개 과제 벤치마크에서 47.31을 기록했다. 이는 3~6배 많은 데이터로 훈련된 GPT-2 124M, Pythia-160M, OPT-125M, GPT-neo-125M을 능가하는 성적이며, 1조 개의 토큰을 학습한 MobileLLM-125M의 공개 점수도 초과한다. 검증 바이트당 비트는 0.8685이다. 훈련 방식이 아니라 아키텍처 자체를 검증하기 위해, 우리는 동일한 데이터로 동일한 크기의 기존 전체-어텐션 모델을 훈련했고, 어느 쪽도 평가하기 전에 승리 조건을 명시해 두었다. 하이브리드 모델은 선택된 품질 지표에서 0.81% 더 높았고, 다운스트림 태스크에서는 동등한 성능을 보였으며, 4비트 파일은 6.3% 더 작았다. 디코딩 속도는 2048 토큰 컨텍스트에서 1.76배, 유사한 크기의 외부 모델 대비 2.08배 빨랐다. 모든 측정에서 속도 이점은 빈 컨텍스트에서는 거의 0에 가깝다가 길이가 길어질수록 커지는데, 이는 해당 메커니즘이 예측하는 바이며 단순히 더 가벼운 모델이라면 나타나지 않을 패턴이다. 단순한 대역폭 계산은 1.17배만을 예측하므로, 메모리 용량만으로는 그 격차를 설명할 수 없다. 또한 효과가 없었던 점들도 보고한다. 완화되지 않은 4비트 품질 비용, 컨볼루션 채널의 약 절반이 비활성 상태로 남아 제거가 불가능했던 점, 그리고 이 모델 크기에 비해 과도했던 어휘 크기 등이다.

English

Small language models are usually built like large ones and then squeezed onto a CPU afterwards. We did the opposite: we fixed the target first, one user, one token at a time, 4-bit weights, ordinary CPU, and chose the architecture to suit it. The result keeps full attention in only 6 of its 18 blocks. The other 12 use short convolutions whose memory is two timesteps wide no matter how long the conversation gets, so two thirds of the network never re-reads a growing cache. Trained from scratch on 59.9B tokens, the model scores 47.31 on a five-task benchmark against a bar of 42.20 that was fixed before training began. It beats GPT-2 124M, Pythia-160M, OPT-125M and GPT-neo-125M, all trained on three to six times more data, and exceeds MobileLLM-125M's published score despite that model seeing a trillion tokens. Validation bits-per-byte is 0.8685. To check the architecture rather than the training recipe, we trained a conventional all-attention model of the same size on the same data, and wrote down the winning condition before scoring either. The hybrid won the chosen quality metric by 0.81%, matched it on downstream tasks, produced a 6.3% smaller 4-bit file, and decoded 1.76x faster at 2048 tokens of context, 2.08x against an external model of similar size. In every measurement the speed advantage is near zero at an empty context and grows with length, which is what the mechanism predicts and what a merely leaner model would not show. A simple bandwidth calculation predicts only 1.17x, so memory volume alone does not explain the gap. We also report what did not work: an unmitigated 4-bit quality cost, roughly half the convolution channels ending up inert and impossible to remove, and a vocabulary larger than this model size warrants.