Целенаправленный отбор данных предварительного обучения с помощью графа активации нейронов

Аннотация

Повседневные задачи имеют конкретную цель, а предварительное обучение моделей для достижения этой цели превращает их в экспертов. В данной статье мы исследуем целенаправленное предварительное обучение языковых моделей (Language Model, LM), представляя Ранжирование на основе Графа Активированных Нейронов (NAG-based Ranking) — бесплатную в обучении и интерпретируемую методологию для отбора данных предварительного обучения, ориентированных на цель. Вместо использования чернобоксных представлений наш подход напрямую характеризует каждый целевой вход с помощью разреженного набора высоковлиятельных нейронов в любой готовой большой языковой модели (LLM). Конкретно, мы количественно оцениваем влияние нейронов, выбираем наиболее значимые нейроны across слоев и объединяем их в компактный Граф Активированных Нейронов (Neuron-Activated Graph, NAG), после чего ранжируем данные-кандидаты по сходству их NAG с целевыми примерами. Мы провели эксперименты на шести бенчмарках, где наше ранжирование на основе NAG улучшило целенаправленное предварительное обучение в среднем на 4.9% по сравнению со случайной выборкой, а также превзошло современные базовые методы на 5.3% по точности на HellaSwag. Метод также остается эффективным в более применимой настройке с множественными целями, где наша лучшая конфигурация превосходит два базовых метода на 1.1% и 4.1% соответственно. Кроме того, мы предоставляем всесторонний анализ того, почему и как наш NAG работает: например, деактивация нейронов, отобранных NAG (всего 0.12% от общего числа), вызывает коллапс производительности на 23.5%, а ограничение NAG последним слоем приводит к среднему падению на 4.1%, что указывает на то, что NAG захватывает разреженный "функциональный хребет" для изучения целевых признаков. Код доступен по адресу https://github.com/asillycat/NAG.

English

Everyday tasks come with a target, and pretraining models around this target is what turns them into experts. In this paper, we study target-oriented language model (LM) pretraining by introducing Neuron-Activated Graph Ranking (NAG-based Ranking), a training-free and interpretable framework for target pretraining data selection. Rather than using black-box representations, our approach directly characterizes each target input by a sparse set of high-impact neurons in any off-the-shelf LLMs. Concretely, we quantify neuron impact and select the most influential neurons across layers into a compact Neuron-Activated Graph (NAG), and rank candidate data by NAG similarity to target examples. We conduct experiments across six benchmarks, where our NAG-based Ranking improves target-oriented pretraining by 4.9% on average over random sampling, and also outperforms state-of-the-art baselines by 5.3% accuracy on HellaSwag. It also remains effective under a more applicable multi-target setting, where our best setup surpasses two baselines by 1.1% and 4.1%, respectively. Furthermore, we provide a comprehensive analysis on why and how our NAG works, e.g., deactivating NAG-selected neurons (only 0.12% of all) causes a 23.5% performance collapse, and restricting NAG to the final layer incurs a 4.1% average drop, indicating that NAG captures a sparse "functional backbone" for learning target features. We release the code at https://github.com/asillycat/NAG.

Целенаправленный отбор данных предварительного обучения с помощью графа активации нейронов

Target-Oriented Pretraining Data Selection via Neuron-Activated Graph

Аннотация

Support