ハイパーネットワークに基づく大規模言語モデルへの知識注入のスケーリング則

要旨

大規模言語モデル（LLM）への事実知識注入を信頼性高くかつ大規模に行うことは、未だに未解決の課題である。ハイパーネットワークは、大規模知識注入に対する有望な解決策を提供する。ハイパーネットワークは通常、テスト時適応に適用されるが、本研究ではその学習時知識注入への利用を探る。すなわち、大規模な事実コーパスが与えられた際に、ハイパーネットワークを学習して固定されたLoRAアダプタを生成し、それをターゲットモデルに挿入することで、その事実に関する質問にモデルが回答できるようにする。本稿では、ハイパーネットワークが学習時知識注入に使用可能かどうか、またその能力がスケールとともにどう変化するかを調査する。ハイパーネットワークのスケーリング挙動は、ほとんど研究されていない。本設計では、ハイパーネットワークの注入容量とターゲットモデルの汎用能力を切り離すことで、初めてハイパーネットワークアーキテクチャのスケーリング則を厳密に研究することを可能にする。我々は、損失、推論精度、および分布外一般化（OOD）が、ハイパーネットワークの深さ、幅、およびターゲットネットワークサイズとともにどのように変化するかを特徴づける。また、MegaWikiQAと呼ばれる大規模データセットを構築する。これは、Wikidata5Mの事例から構築した39のドメインにわたる数千万のマルチホップ質問応答例を含む。我々の結果は次のことを明らかにする。(i) ハイパーネットワークに基づく注入は、すべてのアーキテクチャ軸にわたって広く予測可能なべき乗則スケーリングを示す。(ii) ハイパーネットワークは、スケールが増大するにつれて信頼性の高い分布外一般化が可能であり、これはハイパーネットワークがLoRAファインチューニングやフルファインチューニングといった他の学習時適応手法に代わる有望な選択肢であり、すべてのOOD評価においてより急峻なスケーリング指数を示すことを示唆する。これらの結果は総合的に、ハイパーネットワークが学習時適応のための原理的かつスケーラブルな基盤であることを確立し、大規模言語モデルにおける事実推論のためのハイパーネットワークを導く、最初の経験的に基づいたスケーリング則を提供する。

English

Injecting factual knowledge into large language models (LLMs) reliably and at scale remains an open challenge. Hypernetworks provide a promising solution to large-scale knowledge injection. Although hypernetworks are typically applied for test-time adaptation, we explore their use in train-time knowledge injection, where, given a large corpus of facts, we train a hypernetwork to generate a fixed LoRA adapter that, when inserted into the target model, enable the model to answer questions about those facts. In this work, we investigate whether hypernetworks can be used to perform train-time knowledge injection and how this ability varies with scale. The scaling behavior of hypernetworks remains largely unstudied. Our design decouples the hypernetwork's injection capacity from the target model's general capability, enabling, for the first time, a rigorous study of scaling laws for hypernetwork architectures. We characterize how loss, reasoning accuracy, and out-of-distribution (OOD) generalization vary with hypernetwork depth, width, and target network size. We construct a large-scale dataset, called MegaWikiQA, containing tens of millions of multi-hop question-answer examples across 39 domains constructed from examples in Wikidata5M. Our results reveal: (i) hypernetwork-based injection exhibits broadly predictive power law scaling along all architecture axes; and (ii) hypernetworks are capable of reliable OOD generalization at increasing scales, suggesting that hypernetwork provides a promising alternative to other train-time adaptation methods such as LoRA finetuning and full fine-tuning, exhibiting steeper scaling exponents in all OOD evaluations. Together, these results establish hypernetworks as a principled and scalable substrate for train-time adaptation, and provide the first empirically grounded scaling laws to guide hypernetworks for factual reasoning in large language models.