内に弛み、外に均衡：視覚言語混合エキスパートのための幾何学的誘導負荷分散
Relax Within, Balance Across: Geometry-Guided Load Balancing for Vision-Language Mixture-of-Experts
August 1, 2026
著者: Ziang Wu, Peng Jin, Qishen Yin, Munan Ning, Hao Li, Peizhen Zhang, Li Yuan
cs.AI
要旨
ビジョン言語MoEのバッチには、画像トークンとテキストトークンがそれぞれ異なる数だけ含まれる。画像解像度、画像数、タイリング、プロンプト長はすべてこのトークン混合比を変化させる。我々は標準的なトークンレベルのSwitch補助損失をStd-Auxと呼ぶ。Std-Auxは混合負荷のみをバランスさせるため、ある混合比では大きな画像負荷誤差とテキスト負荷誤差が互いに相殺され得る。我々の主要モデルでは、同じ学習済みルーターが、画像解像度に応じて負荷不均衡を5倍以上変化させる。我々は画像とテキストの負荷プロファイルを固定し、トークン混合比が変化するときの正確な負荷曲線を導出する。画像とテキストの負荷ギャップがトークン混合比に対する感度を決定する。物理的な前処理も条件付きプロファイルを変え得る。固定プロファイルの法則はそのような変化を除外する。
対策を設計するために、我々はルーターの入力構造を調べる。画像とテキストは明確に分かれた領域を占める一方、視覚トークンはソース画像ごとに強くグループ化される。モダリティの境界は、画像とテキストの項を分離する動機を与える。画像の境界は、画像ごとに1つの等重みルーティングインスタンスを設ける動機を与える。ReBA（Relax Within, Balance Across）は、これらの両方の選択を実装する。4つの分割バックボーンにわたり、ReBAは報告されたすべてのベンチマーク入力で負荷を低減し、平均タスク精度をStd-Auxと同等に保つ。ReBAはまた、テストした範囲での平均負荷と、解像度およびタイリングの変化における最悪の物理負荷を低減する。コードはhttps://github.com/ZiangWu-77/ReBAで入手できる。
English
Vision-language MoE batches contain different numbers of image and text tokens. Image resolution, image count, tiling, and prompt length all change this token mix. We call the standard token-level Switch auxiliary loss Std-Aux. Std-Aux balances only the mixed load, so large image and text load errors can cancel at one mix. On our main model, the same trained router shows more than a fivefold change in load imbalance across image resolutions. We hold the image and text load profiles fixed and derive the exact load curve as the token mix varies. The image-text load gap controls sensitivity to the token mix. Physical preprocessing can also change the conditional profiles. The fixed-profile law excludes such changes. To design a remedy, we examine the router input structure. Image and text occupy distinct regions, while visual tokens group strongly by source image. The modality boundary motivates separate image and text terms. The image boundary motivates one equal-weight routing instance per image. ReBA, or Relax Within, Balance Across, implements both choices. Across four split backbones, ReBA lowers load on every reported benchmark input while keeping mean task accuracy comparable to Std-Aux. ReBA also lowers average load over the tested range and worst physical load under resolution and tiling shifts. Code is available at https://github.com/ZiangWu-77/ReBA.