MachineLearningLM: O pré-treinamento contínuo de modelos de linguagem em milhões de tarefas sintéticas de previsão tabular escala o aprendizado de máquina em contexto.

Resumo

Modelos de linguagem de grande escala (LLMs) possuem amplo conhecimento do mundo e uma forte capacidade de raciocínio de propósito geral, mas eles têm dificuldade em aprender a partir de muitos exemplos em contexto em tarefas padrão de aprendizado de máquina (ML), ou seja, em aproveitar demonstrações de muitos exemplos puramente por meio de aprendizado em contexto (ICL) sem descida de gradiente. Apresentamos o MachineLearningLM, uma estrutura portátil de pré-treinamento contínuo que equipa um LLM de propósito geral com uma robusta capacidade de ML em contexto, preservando seu conhecimento geral e raciocínio para fluxos de trabalho mais amplos de chat. Nosso procedimento de pré-treinamento sintetiza tarefas de ML a partir de milhões de modelos causais estruturais (SCMs), abrangendo contagens de exemplos de até 1.024. Começamos com um professor de floresta aleatória, destilando estratégias de decisão baseadas em árvores no LLM para fortalecer a robustez na modelagem numérica. Todas as tarefas são serializadas com um prompt eficiente em tokens, permitindo de 3x a 6x mais exemplos por janela de contexto e entregando até 50x de taxa de transferência amortizada por meio de inferência em lote. Apesar de uma configuração modesta (Qwen-2.5-7B-Instruct com LoRA rank 8), o MachineLearningLM supera fortes baselines de LLMs (por exemplo, GPT-5-mini) em média em cerca de 15% em classificação tabular fora da distribuição em domínios como finanças, física, biologia e saúde. Ele exibe uma impressionante lei de escalonamento de muitos exemplos: a precisão aumenta monotonicamente à medida que as demonstrações em contexto crescem de 8 para 1.024. Sem qualquer treinamento específico para a tarefa, ele atinge precisão no nível de floresta aleatória em centenas de exemplos. As capacidades gerais de chat, incluindo conhecimento e raciocínio, são preservadas: ele alcança 75,4% no MMLU.

English

Large language models (LLMs) possess broad world knowledge and strong general-purpose reasoning ability, yet they struggle to learn from many in-context examples on standard machine learning (ML) tasks, that is, to leverage many-shot demonstrations purely via in-context learning (ICL) without gradient descent. We introduce MachineLearningLM, a portable continued-pretraining framework that equips a general-purpose LLM with robust in-context ML capability while preserving its general knowledge and reasoning for broader chat workflows. Our pretraining procedure synthesizes ML tasks from millions of structural causal models (SCMs), spanning shot counts up to 1,024. We begin with a random-forest teacher, distilling tree-based decision strategies into the LLM to strengthen robustness in numerical modeling. All tasks are serialized with a token-efficient prompt, enabling 3x to 6x more examples per context window and delivering up to 50x amortized throughput via batch inference. Despite a modest setup (Qwen-2.5-7B-Instruct with LoRA rank 8), MachineLearningLM outperforms strong LLM baselines (e.g., GPT-5-mini) by an average of about 15% on out-of-distribution tabular classification across finance, physics, biology, and healthcare domains. It exhibits a striking many-shot scaling law: accuracy increases monotonically as in-context demonstrations grow from 8 to 1,024. Without any task-specific training, it attains random-forest-level accuracy across hundreds of shots. General chat capabilities, including knowledge and reasoning, are preserved: it achieves 75.4% on MMLU.

MachineLearningLM: O pré-treinamento contínuo de modelos de linguagem em milhões de tarefas sintéticas de previsão tabular escala o aprendizado de máquina em contexto.

MachineLearningLM: Continued Pretraining Language Models on Millions of Synthetic Tabular Prediction Tasks Scales In-Context ML

Resumo

Support