Selezione dei Dati di Pre-Addestramento Orientata all'Obiettivo tramite Grafo Attivato dai Neuroni
Target-Oriented Pretraining Data Selection via Neuron-Activated Graph
April 17, 2026
Autori: Zijun Wang, Haoqin Tu, Weidong Zhou, Yiyang Zhou, Xiaohuan Zhou, Bingni Zhang, Weiguo Feng, Taifeng Wang, Cihang Xie, Fengze Liu
cs.AI
Abstract
Ogni attività quotidiana possiede un obiettivo, e l'addestramento preliminare (pretraining) dei modelli attorno a questo obiettivo è ciò che li trasforma in esperti. In questo articolo, studiamo il pretraining di modelli linguistici (LM) orientato a un obiettivo introducendo il Ranking basato su Grafo ad Attivazione Neuronale (NAG-based Ranking), un framework interpretabile e che non richiede addestramento per la selezione dei dati di pretraining mirati. Invece di utilizzare rappresentazioni "black-box", il nostro approccio caratterizza direttamente ogni input target mediante un insieme sparso di neuroni ad alto impatto in qualsiasi LLM già disponibile. Nello specifico, quantifichiamo l'impatto dei neuroni e selezioniamo i neuroni più influenti attraverso i layer in un compatto Grafo ad Attivazione Neuronale (NAG), quindi classifichiamo i dati candidati in base alla similarità del NAG con gli esempi target. Abbiamo condotto esperimenti su sei benchmark, dove il nostro Ranking basato su NAG migliora il pretraining orientato all'obiettivo del 4.9% in media rispetto al campionamento casuale, e supera anche i baseline state-of-the-art con un'accuratezza del 5.3% su HellaSwag. Rimane efficace anche in un'impostazione multi-obiettivo più applicabile, dove la nostra configurazione migliore supera due baseline rispettivamente dell'1.1% e del 4.1%. Inoltre, forniamo un'analisi completa sul perché e sul come funziona il nostro NAG; ad esempio, disattivare i neuroni selezionati dal NAG (solo lo 0.12% del totale) causa un crollo delle prestazioni del 23.5%, e limitare il NAG al layer finale comporta un calo medio del 4.1%, indicando che il NAG cattura una "spina dorsale funzionale" sparsa per l'apprendimento delle caratteristiche target. Rilasciamo il codice all'indirizzo https://github.com/asillycat/NAG.
English
Everyday tasks come with a target, and pretraining models around this target is what turns them into experts. In this paper, we study target-oriented language model (LM) pretraining by introducing Neuron-Activated Graph Ranking (NAG-based Ranking), a training-free and interpretable framework for target pretraining data selection. Rather than using black-box representations, our approach directly characterizes each target input by a sparse set of high-impact neurons in any off-the-shelf LLMs. Concretely, we quantify neuron impact and select the most influential neurons across layers into a compact Neuron-Activated Graph (NAG), and rank candidate data by NAG similarity to target examples. We conduct experiments across six benchmarks, where our NAG-based Ranking improves target-oriented pretraining by 4.9% on average over random sampling, and also outperforms state-of-the-art baselines by 5.3% accuracy on HellaSwag. It also remains effective under a more applicable multi-target setting, where our best setup surpasses two baselines by 1.1% and 4.1%, respectively. Furthermore, we provide a comprehensive analysis on why and how our NAG works, e.g., deactivating NAG-selected neurons (only 0.12% of all) causes a 23.5% performance collapse, and restricting NAG to the final layer incurs a 4.1% average drop, indicating that NAG captures a sparse "functional backbone" for learning target features. We release the code at https://github.com/asillycat/NAG.