계층적 언어 모델 기반 동적 멀티바이트 예측

초록

바이트 수준 계층적 언어 모델(LM)은 최근 서브워드 토큰화를 사용하는 널리 쓰이는 모델들의 강력한 대안으로 부상했다. 그러나 한 번에 한 바이트씩 생성하는 방식은 여전히 추론 속도의 병목 요인으로 남아 있다. 이를 해결하기 위해, 우리는 여러 바이트를 병렬로 생성하는 다중 바이트 예측(MBP)을 도입한다. 이는 최소한의 성능 영향과 추가 매개변수 없이 추론 속도를 높인다. MBP는 널리 알려진 다중 토큰 예측(MTP) 패러다임을 기반으로 하며 두 가지 핵심 혁신을 담고 있다. 첫째, 계층적 언어 모델의 잠재 토큰, 즉 세그먼트와 정렬되는 가변 길이 예측 창을 도입한다. 둘째, 인과성을 위반하지 않으면서 병렬 바이트 예측을 가능하게 하는 새로운 어텐션 마스킹 기법을 구현한다. 우리는 다중 바이트 예측이 지시 수행, 질의 응답, 요약, 기계 번역 등 다양한 생성 작업에서 파레토 최적의 절충을 이루며, 성능과 추론 처리량 사이의 최상의 균형을 달성함을 보여준다.

English

Byte-level hierarchical language models (LMs) have recently emerged as a robust alternative to their popular counterparts that use subword tokenization. However, generating one byte at a time remains a bottleneck for inference speed. To address this, we introduce multi-byte prediction (MBP), which generates multiple bytes in parallel, speeding up inference with minimal performance impact and no additional parameters. MBP builds on the popular multi-token prediction (MTP) paradigm with two crucial innovations. First, we introduce a variable-length prediction window that aligns with the latent tokens, or segments, of a hierarchical LM. Second, we implement a novel attention-masking scheme that enables parallel byte prediction without violating causality. We show that multi-byte prediction strikes a Pareto-optimal trade-off across multiple generative tasks, instruction following, question answering, summarization, and machine translation, achieving the best trade-off between performance and inference throughput.