Zielorientierte Auswahl von Vortrainingsdaten über Neuron-Aktivierungsgraphen
Target-Oriented Pretraining Data Selection via Neuron-Activated Graph
April 17, 2026
Autoren: Zijun Wang, Haoqin Tu, Weidong Zhou, Yiyang Zhou, Xiaohuan Zhou, Bingni Zhang, Weiguo Feng, Taifeng Wang, Cihang Xie, Fengze Liu
cs.AI
Zusammenfassung
Alltägliche Aufgaben haben ein Ziel, und die Vorabtraining von Modellen auf dieses Ziel hin ist es, was sie zu Experten macht. In dieser Arbeit untersuchen wir zielorientiertes Vortraining von Sprachmodellen (LM) durch die Einführung von Neuron-Activated Graph Ranking (NAG-basiertes Ranking), einem trainingsfreien und interpretierbaren Rahmenwerk für die Auswahl von Vortrainingsdaten für ein Ziel. Anstatt Blackbox-Repräsentationen zu verwenden, charakterisiert unser Ansatz jede Zieleingabe direkt durch eine spärliche Menge von Neuronen mit hohem Einfluss in beliebigen Standard-LLMs. Konkret quantifizieren wir den Neuroneneinfluss, wählen die einflussreichsten Neuronen über alle Schichten hinweg in einen kompakten Neuron-Activated Graph (NAG) aus und ordnen Kandidatendaten nach ihrer NAG-Ähnlichkeit zu Zielbeispielen. Wir führen Experimente mit sechs Benchmarks durch, bei denen unser NAG-basiertes Ranking das zielorientierte Vortraining im Durchschnitt um 4,9 % gegenüber zufälliger Auswahl verbessert und state-of-the-art Baseline-Verfahren auf HellaSwag um 5,3 % Genauigkeit übertrifft. Es bleibt auch unter einer anwendungsnäheren Multi-Target-Einstellung wirksam, wo unser bester Aufbau zwei Baseline-Verfahren um 1,1 % bzw. 4,1 % übertrifft. Darüber hinaus liefern wir eine umfassende Analyse, warum und wie unser NAG funktioniert. So führt beispielsweise die Deaktivierung der NAG-ausgewählten Neuronen (nur 0,12 % aller Neuronen) zu einem Leistungseinbruch von 23,5 %, und die Beschränkung des NAG auf die letzte Schicht verursacht einen durchschnittlichen Abfall von 4,1 %, was darauf hindeutet, dass NAG ein spärliches "funktionales Rückgrat" zum Erlernen von Zielmerkmalen erfasst. Wir veröffentlichen den Code unter https://github.com/asillycat/NAG.
English
Everyday tasks come with a target, and pretraining models around this target is what turns them into experts. In this paper, we study target-oriented language model (LM) pretraining by introducing Neuron-Activated Graph Ranking (NAG-based Ranking), a training-free and interpretable framework for target pretraining data selection. Rather than using black-box representations, our approach directly characterizes each target input by a sparse set of high-impact neurons in any off-the-shelf LLMs. Concretely, we quantify neuron impact and select the most influential neurons across layers into a compact Neuron-Activated Graph (NAG), and rank candidate data by NAG similarity to target examples. We conduct experiments across six benchmarks, where our NAG-based Ranking improves target-oriented pretraining by 4.9% on average over random sampling, and also outperforms state-of-the-art baselines by 5.3% accuracy on HellaSwag. It also remains effective under a more applicable multi-target setting, where our best setup surpasses two baselines by 1.1% and 4.1%, respectively. Furthermore, we provide a comprehensive analysis on why and how our NAG works, e.g., deactivating NAG-selected neurons (only 0.12% of all) causes a 23.5% performance collapse, and restricting NAG to the final layer incurs a 4.1% average drop, indicating that NAG captures a sparse "functional backbone" for learning target features. We release the code at https://github.com/asillycat/NAG.