MachineLearningLM: Doorvoortraining van Taalmodellen op Miljoenen Synthetische Tabelvoorspellingstaken Schaalt In-Context ML

MachineLearningLM: Continued Pretraining Language Models on Millions of Synthetic Tabular Prediction Tasks Scales In-Context ML

September 8, 2025

Auteurs: Haoyu Dong, Pengkun Zhang, Mingzhe Lu, Yanzhen Shen, Guolin Ke

cs.AI

Samenvatting

Grote taalmodellen (LLMs) beschikken over brede wereldkennis en een sterke algemene redeneervaardigheid, maar hebben moeite om te leren van veel in-context voorbeelden bij standaard machine learning (ML) taken, dat wil zeggen, om veel-shot demonstraties puur via in-context learning (ICL) te benutten zonder gradient descent. We introduceren MachineLearningLM, een draagbaar voortgezet-pretrainingsframework dat een algemeen LLM uitrust met robuuste in-context ML-capaciteit, terwijl het zijn algemene kennis en redenering behoudt voor bredere chatworkflows. Onze pretrainingsprocedure synthetiseert ML-taken uit miljoenen structurele causale modellen (SCMs), met shot-aantallen tot 1.024. We beginnen met een random-forest leraar, waarbij boomgebaseerde beslissingsstrategieën worden gedistilleerd in het LLM om de robuustheid in numerieke modellering te versterken. Alle taken worden geserialiseerd met een token-efficiënte prompt, waardoor 3x tot 6x meer voorbeelden per contextvenster mogelijk zijn en een tot 50x geamortiseerde doorvoer wordt geleverd via batch inferentie. Ondanks een bescheiden opzet (Qwen-2.5-7B-Instruct met LoRA rang 8), presteert MachineLearningLM beter dan sterke LLM-baselines (bijv. GPT-5-mini) met een gemiddelde van ongeveer 15% op out-of-distribution tabelclassificatie over domeinen als financiën, natuurkunde, biologie en gezondheidszorg. Het vertoont een opvallende veel-shot schaalwet: de nauwkeurigheid neemt monotoon toe naarmate in-context demonstraties groeien van 8 tot 1.024. Zonder enige taakspecifieke training bereikt het random-forest-niveau nauwkeurigheid over honderden shots. Algemene chatcapaciteiten, inclusief kennis en redenering, blijven behouden: het behaalt 75,4% op MMLU.

English

Large language models (LLMs) possess broad world knowledge and strong general-purpose reasoning ability, yet they struggle to learn from many in-context examples on standard machine learning (ML) tasks, that is, to leverage many-shot demonstrations purely via in-context learning (ICL) without gradient descent. We introduce MachineLearningLM, a portable continued-pretraining framework that equips a general-purpose LLM with robust in-context ML capability while preserving its general knowledge and reasoning for broader chat workflows. Our pretraining procedure synthesizes ML tasks from millions of structural causal models (SCMs), spanning shot counts up to 1,024. We begin with a random-forest teacher, distilling tree-based decision strategies into the LLM to strengthen robustness in numerical modeling. All tasks are serialized with a token-efficient prompt, enabling 3x to 6x more examples per context window and delivering up to 50x amortized throughput via batch inference. Despite a modest setup (Qwen-2.5-7B-Instruct with LoRA rank 8), MachineLearningLM outperforms strong LLM baselines (e.g., GPT-5-mini) by an average of about 15% on out-of-distribution tabular classification across finance, physics, biology, and healthcare domains. It exhibits a striking many-shot scaling law: accuracy increases monotonically as in-context demonstrations grow from 8 to 1,024. Without any task-specific training, it attains random-forest-level accuracy across hundreds of shots. General chat capabilities, including knowledge and reasoning, are preserved: it achieves 75.4% on MMLU.