MachineLearningLM: Fortlaufendes Pretraining von Sprachmodellen an Millionen synthetischer Tabellenvorhersageaufgaben skaliert In-Context-ML
MachineLearningLM: Continued Pretraining Language Models on Millions of Synthetic Tabular Prediction Tasks Scales In-Context ML
September 8, 2025
papers.authors: Haoyu Dong, Pengkun Zhang, Mingzhe Lu, Yanzhen Shen, Guolin Ke
cs.AI
papers.abstract
Große Sprachmodelle (LLMs) verfügen über breites Weltwissen und eine starke allgemeine Fähigkeit zum logischen Schlussfolgern, doch sie haben Schwierigkeiten, aus vielen in Kontext gegebenen Beispielen bei standardmäßigen maschinellen Lernaufgaben (ML) zu lernen, d. h., viele Beispiele rein über In-Context-Lernen (ICL) ohne Gradientenabstieg zu nutzen. Wir stellen MachineLearningLM vor, ein portables Framework für fortgesetztes Vortraining, das ein allgemeines LLM mit robuster In-Context-ML-Fähigkeit ausstattet, während es sein allgemeines Wissen und seine Schlussfolgerungsfähigkeit für breitere Chat-Workflows bewahrt.
Unser Vortrainingsverfahren synthetisiert ML-Aufgaben aus Millionen von strukturellen kausalen Modellen (SCMs), die Beispielanzahlen von bis zu 1.024 abdecken. Wir beginnen mit einem Random-Forest-Lehrer, der baumbasierte Entscheidungsstrategien in das LLM destilliert, um die Robustheit in der numerischen Modellierung zu stärken. Alle Aufgaben werden mit einem token-effizienten Prompt serialisiert, wodurch 3x bis 6x mehr Beispiele pro Kontextfenster ermöglicht und ein bis zu 50x höherer amortisierter Durchsatz über Batch-Inferenz erreicht wird.
Trotz eines bescheidenen Setups (Qwen-2.5-7B-Instruct mit LoRA-Rang 8) übertrifft MachineLearningLM starke LLM-Baselines (z. B. GPT-5-mini) im Durchschnitt um etwa 15 % bei Out-of-Distribution-Tabellenklassifikationen in den Bereichen Finanzen, Physik, Biologie und Gesundheitswesen. Es zeigt ein bemerkenswertes Many-Shot-Skalierungsgesetz: Die Genauigkeit steigt monoton an, wenn die In-Context-Demonstrationen von 8 auf 1.024 anwachsen. Ohne jegliches aufgaben spezifisches Training erreicht es Random-Forest-Genauigkeit über hunderte von Beispielen hinweg. Allgemeine Chat-Fähigkeiten, einschließlich Wissen und Schlussfolgerung, bleiben erhalten: Es erreicht 75,4 % auf MMLU.
English
Large language models (LLMs) possess broad world knowledge and strong
general-purpose reasoning ability, yet they struggle to learn from many
in-context examples on standard machine learning (ML) tasks, that is, to
leverage many-shot demonstrations purely via in-context learning (ICL) without
gradient descent. We introduce MachineLearningLM, a portable
continued-pretraining framework that equips a general-purpose LLM with robust
in-context ML capability while preserving its general knowledge and reasoning
for broader chat workflows.
Our pretraining procedure synthesizes ML tasks from millions of structural
causal models (SCMs), spanning shot counts up to 1,024. We begin with a
random-forest teacher, distilling tree-based decision strategies into the LLM
to strengthen robustness in numerical modeling. All tasks are serialized with a
token-efficient prompt, enabling 3x to 6x more examples per context window and
delivering up to 50x amortized throughput via batch inference.
Despite a modest setup (Qwen-2.5-7B-Instruct with LoRA rank 8),
MachineLearningLM outperforms strong LLM baselines (e.g., GPT-5-mini) by an
average of about 15% on out-of-distribution tabular classification across
finance, physics, biology, and healthcare domains. It exhibits a striking
many-shot scaling law: accuracy increases monotonically as in-context
demonstrations grow from 8 to 1,024. Without any task-specific training, it
attains random-forest-level accuracy across hundreds of shots. General chat
capabilities, including knowledge and reasoning, are preserved: it achieves
75.4% on MMLU.