NeoMME：効率的なファインチューニングと推論のためのシングルタワー型マルチモーダル・ネイティブ多言語基盤エンコーダー

要旨

マルチモーダルモデルは、生成的な視覚言語モデリング用に設計されたアーキテクチャに基づくことが多く、典型的には個別に事前学習された視覚エンコーダと因果言語モデルを組み合わせる。ColPaliのような視覚文書検索モデルは、これらのモデルをエンコーダとして転用しており、非生成タスクでありながらVLMのパラメータ数と計算量のオーバーヘッドを引き継いでいる。本稿では、多言語テキストと未加工の画像パッチを単一の双方向Transformerエンコーダで処理する、260Mおよび800Mパラメータのマルチモーダル・多言語双方向エンコーダ群NeoMMEを提案する。両モデルは、テキストのマスク付き離散拡散を学習目的としてスクラッチから事前学習される。この学習目的は、マルチモーダルサンプルでは可視画像パッチを条件とする。また、両モデルとも16,384トークンのコンテキストをサポートし、標準的な4K UHD画像を最大2枚分までエンコードできる。下流タスクにおける性能を実証するため、デンスヘッドと後期相互作用ヘッドを同時に学習させながらNeoMMEをファインチューニングする。ViDoRe v3ベンチマークでは、NeoMME-Retriever 260MはnDCG@10が0.523となり、パラメータ数が800M未満の全評価対象モデルを上回る。NeoMME-Retriever 800Mは0.556に達する。また、NVIDIA L40S上で入力画像サイズを2048×2048に統一した条件では、NeoMME-260MはColModernVBERTの約2倍のスループットでページをエンコードできる。階層的トークンプーリングと非対称量子化により、後期相互作用型のマルチモーダル文書埋め込みを255分の1に圧縮しつつ、ベースラインのnDCG@10の95%以上を維持する。我々はNeoMMEをHugging Face Transformersにコントリビュートし、事前学習済みバックボーンと検索互換チェックポイントをApache 2.0ライセンスのもとで https://hf.co/collections/Hcompany/neomme に公開する。

English

Multimodal models often build on architectures designed for generative vision-language modeling, typically combining separately pretrained vision encoders with causal language models. Visual document retrievers such as ColPali repurpose these models as encoders, carrying over the parameter and compute overhead of a VLM for a non-generative task. We introduce NeoMME, a family of 260M and 800M-parameter Multimodal and Multilingual bidirectional Encoders that process multilingual text and raw image patches in a single bidirectional Transformer encoder. Both models are pretrained from scratch with a masked discrete-diffusion text objective, conditioned on visible image patches for multimodal examples. Both support a 16,384-token context, enough to encode up to two standard 4K UHD images. To demonstrate its downstream capabilities, we fine-tune NeoMME with jointly trained dense and late-interaction heads. On the ViDoRe v3 benchmark, the resulting NeoMME-Retriever 260M outperforms all evaluated models strictly below 800M parameters with 0.523 nDCG@10, while NeoMME-Retriever 800M reaches 0.556. At a matched 2048x2048 image input size on an NVIDIA L40S, NeoMME-260M encodes pages with about 2x the throughput of ColModernVBERT. Hierarchical token pooling and asymmetric quantization compress late-interaction multimodal document embeddings by 255x while preserving over 95% of baseline nDCG@10. We contribute NeoMME to Hugging Face Transformers and release the pretrained backbone and retrieval-compatible checkpoints under Apache 2.0 at https://hf.co/collections/Hcompany/neomme.