MachineLearningLM: Продолженное предобучение языковых моделей на миллионах синтетических задач табличного прогнозирования масштабирует контекстное машинное обучение.
MachineLearningLM: Continued Pretraining Language Models on Millions of Synthetic Tabular Prediction Tasks Scales In-Context ML
September 8, 2025
Авторы: Haoyu Dong, Pengkun Zhang, Mingzhe Lu, Yanzhen Shen, Guolin Ke
cs.AI
Аннотация
Крупные языковые модели (LLM) обладают обширными знаниями о мире и мощными способностями к общему рассуждению, однако они испытывают трудности с обучением на основе множества контекстных примеров в стандартных задачах машинного обучения (ML), то есть с использованием многошаговых демонстраций исключительно через контекстное обучение (ICL) без градиентного спуска. Мы представляем MachineLearningLM — портативную структуру для продолжения предварительного обучения, которая наделяет универсальную LLM устойчивой способностью к контекстному ML, сохраняя при этом её общие знания и навыки рассуждения для более широких задач чат-взаимодействий.
Наша процедура предварительного обучения синтезирует задачи ML из миллионов структурных причинных моделей (SCM), охватывая количество примеров до 1,024. Мы начинаем с учителя на основе случайного леса, дистиллируя стратегии принятия решений на основе деревьев в LLM для повышения устойчивости в численном моделировании. Все задачи сериализуются с использованием эффективного по токенам промпта, что позволяет включать в контекстное окно в 3–6 раз больше примеров и обеспечивает до 50-кратного увеличения пропускной способности благодаря пакетному выводу.
Несмотря на скромную настройку (Qwen-2.5-7B-Instruct с LoRA рангом 8), MachineLearningLM превосходит сильные базовые LLM (например, GPT-5-mini) в среднем на 15% в задачах классификации табличных данных вне распределения в областях финансов, физики, биологии и здравоохранения. Модель демонстрирует впечатляющий закон масштабирования для многошаговых примеров: точность монотонно возрастает по мере увеличения контекстных демонстраций с 8 до 1,024. Без какого-либо специфического обучения для конкретных задач она достигает точности, сравнимой с моделью случайного леса, на сотнях примеров. Общие чат-возможности, включая знания и рассуждения, сохраняются: модель достигает 75,4% на MMLU.
English
Large language models (LLMs) possess broad world knowledge and strong
general-purpose reasoning ability, yet they struggle to learn from many
in-context examples on standard machine learning (ML) tasks, that is, to
leverage many-shot demonstrations purely via in-context learning (ICL) without
gradient descent. We introduce MachineLearningLM, a portable
continued-pretraining framework that equips a general-purpose LLM with robust
in-context ML capability while preserving its general knowledge and reasoning
for broader chat workflows.
Our pretraining procedure synthesizes ML tasks from millions of structural
causal models (SCMs), spanning shot counts up to 1,024. We begin with a
random-forest teacher, distilling tree-based decision strategies into the LLM
to strengthen robustness in numerical modeling. All tasks are serialized with a
token-efficient prompt, enabling 3x to 6x more examples per context window and
delivering up to 50x amortized throughput via batch inference.
Despite a modest setup (Qwen-2.5-7B-Instruct with LoRA rank 8),
MachineLearningLM outperforms strong LLM baselines (e.g., GPT-5-mini) by an
average of about 15% on out-of-distribution tabular classification across
finance, physics, biology, and healthcare domains. It exhibits a striking
many-shot scaling law: accuracy increases monotonically as in-context
demonstrations grow from 8 to 1,024. Without any task-specific training, it
attains random-forest-level accuracy across hundreds of shots. General chat
capabilities, including knowledge and reasoning, are preserved: it achieves
75.4% on MMLU.