內部放鬆，外部平衡：視覺-語言混合專家的幾何引導負載均衡

摘要

視覺-語言混合專家（MoE）模型的批次中，圖像與文本 token 的數量各不相同。圖像解析度、圖像數量、切分方式（tiling）以及提示詞長度都會改變這種 token 混合比例。我們將標準的 token 層級 Switch 輔助損失稱為 Std-Aux。Std-Aux 僅均衡混合後的負載，因此在某一混合比例下，圖像與文本的較大負載誤差可能相互抵消。在我們的主模型上，同一個已訓練的路由器在不同圖像解析度下，其負載不均衡程度會出現超過五倍的變化。我們固定圖像與文本的負載分布，進而推導出隨 token 混合比例變化的精確負載曲線。圖像與文本之間的負載差距控制著對 token 混合比例的敏感度。實際預處理也可能改變條件分布，而固定分布下的規律則不包含這類變化。為了設計解決方案，我們檢視了路由器的輸入結構。圖像與文本位於不同區域，而視覺 token 會強烈地依來源圖像分群。模態邊界促使我們為圖像和文本分別設置損失項；圖像邊界則促使我們對每張圖像採用一個等權重的路由實例。ReBA（Relax Within, Balance Across，即內部放鬆、跨組平衡）同時實現了這兩種設計。在四個分割骨幹網路上，與 Std-Aux 相比，ReBA 在所有已報告的基準輸入上都降低了負載，同時保持平均任務準確率相當。ReBA 還降低了測試範圍內的平均負載，並在解析度與切分變化下改善了最壞情況的實際負載。程式碼位於 https://github.com/ZiangWu-77/ReBA。

English

Vision-language MoE batches contain different numbers of image and text tokens. Image resolution, image count, tiling, and prompt length all change this token mix. We call the standard token-level Switch auxiliary loss Std-Aux. Std-Aux balances only the mixed load, so large image and text load errors can cancel at one mix. On our main model, the same trained router shows more than a fivefold change in load imbalance across image resolutions. We hold the image and text load profiles fixed and derive the exact load curve as the token mix varies. The image-text load gap controls sensitivity to the token mix. Physical preprocessing can also change the conditional profiles. The fixed-profile law excludes such changes. To design a remedy, we examine the router input structure. Image and text occupy distinct regions, while visual tokens group strongly by source image. The modality boundary motivates separate image and text terms. The image boundary motivates one equal-weight routing instance per image. ReBA, or Relax Within, Balance Across, implements both choices. Across four split backbones, ReBA lowers load on every reported benchmark input while keeping mean task accuracy comparable to Std-Aux. ReBA also lowers average load over the tested range and worst physical load under resolution and tiling shifts. Code is available at https://github.com/ZiangWu-77/ReBA.