NeoMME: 효율적인 미세 조정 및 추론을 위한 단일 타워 멀티모달-네이티브 다국어 파운데이션 인코더

초록

멀티모달 모델은 흔히 생성적 비전-언어 모델링을 위해 설계된 아키텍처 위에 구축되며, 일반적으로 개별적으로 사전학습된 비전 인코더와 인과적 언어 모델을 결합한다. ColPali와 같은 시각 문서 검색기는 이러한 모델을 인코더로 용도를 변경하여, 비생성적 작업에 VLM의 파라미터 및 계산 오버헤드를 그대로 이어받는다. 우리는 다국어 텍스트와 원시 이미지 패치를 단일 양방향 트랜스포머 인코더에서 처리하는 260M 및 800M 파라미터 규모의 멀티모달·다국어 양방향 인코더 제품군인 NeoMME를 소개한다. 두 모델 모두 마스킹된 이산 확산 텍스트 목적 함수를 사용하여 처음부터 사전학습되며, 멀티모달 예시의 경우 가시적 이미지 패치를 조건으로 한다. 두 모델 모두 16,384토큰 컨텍스트를 지원하며, 이는 표준 4K UHD 이미지 최대 2장을 인코딩하기에 충분한 길이이다. 다운스트림 성능을 입증하기 위해, 우리는 조밀(dense) 헤드와 늦은 상호작용(late-interaction) 헤드를 공동 학습하여 NeoMME를 미세 조정한다. ViDoRe v3 벤치마크에서, 결과적으로 얻어진 NeoMME-Retriever 260M은 0.523의 nDCG@10을 기록하며 엄밀히 800M 파라미터 미만의 모든 평가된 모델을 능가하고, NeoMME-Retriever 800M은 0.556에 도달한다. NVIDIA L40S에서 동일한 2048x2048 이미지 입력 크기로 NeoMME-260M은 ColModernVBERT보다 약 2배의 처리량으로 페이지를 인코딩한다. 계층적 토큰 풀링과 비대칭 양자화는 늦은 상호작용 멀티모달 문서 임베딩을 255배 압축하면서도 기준 nDCG@10의 95% 이상을 보존한다. 우리는 NeoMME를 Hugging Face Transformers에 기여하고, 사전학습된 백본과 검색 호환 체크포인트를 Apache 2.0 라이선스로 https://hf.co/collections/Hcompany/neomme에 공개한다.

English

Multimodal models often build on architectures designed for generative vision-language modeling, typically combining separately pretrained vision encoders with causal language models. Visual document retrievers such as ColPali repurpose these models as encoders, carrying over the parameter and compute overhead of a VLM for a non-generative task. We introduce NeoMME, a family of 260M and 800M-parameter Multimodal and Multilingual bidirectional Encoders that process multilingual text and raw image patches in a single bidirectional Transformer encoder. Both models are pretrained from scratch with a masked discrete-diffusion text objective, conditioned on visible image patches for multimodal examples. Both support a 16,384-token context, enough to encode up to two standard 4K UHD images. To demonstrate its downstream capabilities, we fine-tune NeoMME with jointly trained dense and late-interaction heads. On the ViDoRe v3 benchmark, the resulting NeoMME-Retriever 260M outperforms all evaluated models strictly below 800M parameters with 0.523 nDCG@10, while NeoMME-Retriever 800M reaches 0.556. At a matched 2048x2048 image input size on an NVIDIA L40S, NeoMME-260M encodes pages with about 2x the throughput of ColModernVBERT. Hierarchical token pooling and asymmetric quantization compress late-interaction multimodal document embeddings by 255x while preserving over 95% of baseline nDCG@10. We contribute NeoMME to Hugging Face Transformers and release the pretrained backbone and retrieval-compatible checkpoints under Apache 2.0 at https://hf.co/collections/Hcompany/neomme.