Doelgerichte Selectie van Voortrainingsgegevens via een Neuron-Geactiveerd Grafiek
Target-Oriented Pretraining Data Selection via Neuron-Activated Graph
April 17, 2026
Auteurs: Zijun Wang, Haoqin Tu, Weidong Zhou, Yiyang Zhou, Xiaohuan Zhou, Bingni Zhang, Weiguo Feng, Taifeng Wang, Cihang Xie, Fengze Liu
cs.AI
Samenvatting
Dagelijkse taken hebben een doel, en het vooraf trainen van modellen rond dit doel is wat ze tot experts maakt. In dit artikel bestuderen we doelgerichte taalmodelvoorpretraining door Neuron-Activated Graph Ranking (NAG-gebaseerde Rangschikking) te introduceren, een trainingsvrij en interpreteerbaar raamwerk voor de selectie van voorpretrainingsgegevens voor een specifiek doel. In plaats van blackbox-representaties te gebruiken, karakteriseert onze aanpak elke doelinput direct door een spaarse set hoog-impactneuronen in elk kant-en-klare groot taalmodel (LLM). Concreet kwantificeren we neuronimpact en selecteren we de meest invloedrijke neuronen over alle lagen heen in een compacte Neuron-Activated Graph (NAG), en rangschikken we kandidaatgegevens op NAG-gelijkenis met doelvoorbeelden. We voeren experimenten uit over zes benchmarks, waarbij onze NAG-gebaseerde Rangschikking doelgerichte voorpretraining met gemiddeld 4,9% verbetert ten opzichte van willekeurige steekproeven, en ook state-of-the-art baseline-methoden verslaat met 5,3% nauwkeurigheid op HellaSwag. Het blijft ook effectief onder een meer toepasbare multi-doelinstelling, waarbij onze beste opzet twee baseline-methoden respectievelijk met 1,1% en 4,1% overtreft. Verder bieden we een uitgebreide analyse van waarom en hoe onze NAG werkt; bijvoorbeeld, het deactiveren van door NAG geselecteerde neuronen (slechts 0,12% van het totaal) veroorzaakt een prestatie-inval van 23,5%, en het beperken van de NAG tot de laatste laag leidt tot een gemiddelde daling van 4,1%, wat aangeeft dat NAG een spaarse "functionele ruggengraat" vastlegt voor het leren van doelkenmerken. We hebben de code vrijgegeven op https://github.com/asillycat/NAG.
English
Everyday tasks come with a target, and pretraining models around this target is what turns them into experts. In this paper, we study target-oriented language model (LM) pretraining by introducing Neuron-Activated Graph Ranking (NAG-based Ranking), a training-free and interpretable framework for target pretraining data selection. Rather than using black-box representations, our approach directly characterizes each target input by a sparse set of high-impact neurons in any off-the-shelf LLMs. Concretely, we quantify neuron impact and select the most influential neurons across layers into a compact Neuron-Activated Graph (NAG), and rank candidate data by NAG similarity to target examples. We conduct experiments across six benchmarks, where our NAG-based Ranking improves target-oriented pretraining by 4.9% on average over random sampling, and also outperforms state-of-the-art baselines by 5.3% accuracy on HellaSwag. It also remains effective under a more applicable multi-target setting, where our best setup surpasses two baselines by 1.1% and 4.1%, respectively. Furthermore, we provide a comprehensive analysis on why and how our NAG works, e.g., deactivating NAG-selected neurons (only 0.12% of all) causes a 23.5% performance collapse, and restricting NAG to the final layer incurs a 4.1% average drop, indicating that NAG captures a sparse "functional backbone" for learning target features. We release the code at https://github.com/asillycat/NAG.