대규모 언어 모델에서 하이퍼네트워크 기반 지식 주입을 위한 스케일링 법칙

초록

대규모 언어 모델(LLM)에 사실적 지식을 안정적이고 확장 가능하게 주입하는 것은 여전히 해결되지 않은 과제이다. 하이퍼네트워크는 대규모 지식 주입에 유망한 해결책을 제공한다. 일반적으로 하이퍼네트워크는 테스트 시 적응에 적용되지만, 본 연구에서는 훈련 시 지식 주입(train-time knowledge injection)에 하이퍼네트워크를 활용하는 방안을 탐구한다. 즉, 방대한 사실 말뭉치가 주어졌을 때, 하이퍼네트워크를 훈련시켜 고정된 LoRA 어댑터를 생성하고, 이를 대상 모델에 삽입하면 모델이 해당 사실에 관한 질문에 답변할 수 있게 하는 방식이다. 본 연구에서는 하이퍼네트워크가 훈련 시 지식 주입에 사용될 수 있는지, 그리고 이러한 능력이 규모에 따라 어떻게 달라지는지 조사한다. 하이퍼네트워크의 확장 행동은 거의 연구되지 않았다. 본 설계는 하이퍼네트워크의 주입 용량과 대상 모델의 일반 능력을 분리함으로써, 처음으로 하이퍼네트워크 아키텍처에 대한 스케일링 법칙을 엄밀하게 연구할 수 있게 한다. 우리는 손실, 추론 정확도, 분포 외(OOD) 일반화가 하이퍼네트워크의 깊이, 너비 및 대상 네트워크 크기에 따라 어떻게 달라지는지 특성화한다. 또한 Wikidata5M의 예제를 기반으로 39개 도메인에 걸쳐 수천만 개의 다중 홉 질문-답변 예제를 포함하는 대규모 데이터셋인 MegaWikiQA를 구축한다. 실험 결과는 다음을 보여준다: (i) 하이퍼네트워크 기반 주입은 모든 아키텍처 축에 대해 광범위하게 예측 가능한 멱법칙 스케일링을 나타낸다; (ii) 하이퍼네트워크는 규모가 증가함에 따라 신뢰할 수 있는 OOD 일반화가 가능하며, 이는 하이퍼네트워크가 LoRA 미세 조정이나 전체 미세 조정과 같은 다른 훈련 시 적응 방법에 비해 유망한 대안을 제공하며, 모든 OOD 평가에서 더 가파른 스케일링 지수를 보인다. 종합하면, 이러한 결과는 하이퍼네트워크를 훈련 시 적응을 위한 원칙적이고 확장 가능한 기반으로 확립하며, 대규모 언어 모델의 사실적 추론을 위한 하이퍼네트워크를 안내하는 최초의 경험적 스케일링 법칙을 제공한다.

English

Injecting factual knowledge into large language models (LLMs) reliably and at scale remains an open challenge. Hypernetworks provide a promising solution to large-scale knowledge injection. Although hypernetworks are typically applied for test-time adaptation, we explore their use in train-time knowledge injection, where, given a large corpus of facts, we train a hypernetwork to generate a fixed LoRA adapter that, when inserted into the target model, enable the model to answer questions about those facts. In this work, we investigate whether hypernetworks can be used to perform train-time knowledge injection and how this ability varies with scale. The scaling behavior of hypernetworks remains largely unstudied. Our design decouples the hypernetwork's injection capacity from the target model's general capability, enabling, for the first time, a rigorous study of scaling laws for hypernetwork architectures. We characterize how loss, reasoning accuracy, and out-of-distribution (OOD) generalization vary with hypernetwork depth, width, and target network size. We construct a large-scale dataset, called MegaWikiQA, containing tens of millions of multi-hop question-answer examples across 39 domains constructed from examples in Wikidata5M. Our results reveal: (i) hypernetwork-based injection exhibits broadly predictive power law scaling along all architecture axes; and (ii) hypernetworks are capable of reliable OOD generalization at increasing scales, suggesting that hypernetwork provides a promising alternative to other train-time adaptation methods such as LoRA finetuning and full fine-tuning, exhibiting steeper scaling exponents in all OOD evaluations. Together, these results establish hypernetworks as a principled and scalable substrate for train-time adaptation, and provide the first empirically grounded scaling laws to guide hypernetworks for factual reasoning in large language models.