MachineLearningLM: Pretrenamiento Continuo de Modelos de Lenguaje en Millones de Tareas Sintéticas de Predicción Tabular Escala el Aprendizaje Automático en Contexto

MachineLearningLM: Continued Pretraining Language Models on Millions of Synthetic Tabular Prediction Tasks Scales In-Context ML

September 8, 2025

Autores: Haoyu Dong, Pengkun Zhang, Mingzhe Lu, Yanzhen Shen, Guolin Ke

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) poseen un amplio conocimiento del mundo y una sólida capacidad de razonamiento de propósito general, sin embargo, tienen dificultades para aprender a partir de múltiples ejemplos en contexto en tareas estándar de aprendizaje automático (ML), es decir, para aprovechar demostraciones de muchos ejemplos (many-shot) únicamente mediante aprendizaje en contexto (ICL) sin descenso de gradiente. Presentamos MachineLearningLM, un marco portátil de preentrenamiento continuo que equipa a un LLM de propósito general con una capacidad robusta de ML en contexto, preservando al mismo tiempo su conocimiento general y razonamiento para flujos de trabajo de chat más amplios. Nuestro procedimiento de preentrenamiento sintetiza tareas de ML a partir de millones de modelos causales estructurales (SCMs), abarcando conteos de ejemplos (shots) de hasta 1,024. Comenzamos con un profesor de bosque aleatorio, destilando estrategias de decisión basadas en árboles en el LLM para fortalecer la robustez en el modelado numérico. Todas las tareas se serializan con un prompt eficiente en tokens, permitiendo de 3 a 6 veces más ejemplos por ventana de contexto y ofreciendo hasta 50 veces más rendimiento amortizado mediante inferencia por lotes. A pesar de una configuración modesta (Qwen-2.5-7B-Instruct con rango LoRA 8), MachineLearningLM supera a fuertes líneas base de LLMs (por ejemplo, GPT-5-mini) en un promedio de aproximadamente 15% en clasificación tabular fuera de distribución en dominios como finanzas, física, biología y atención médica. Exhibe una notable ley de escalamiento en muchos ejemplos (many-shot): la precisión aumenta monótonamente a medida que las demostraciones en contexto crecen de 8 a 1,024. Sin ningún entrenamiento específico para la tarea, alcanza una precisión comparable a la de un bosque aleatorio en cientos de ejemplos. Las capacidades generales de chat, incluyendo conocimiento y razonamiento, se mantienen: logra un 75.4% en MMLU.

English

Large language models (LLMs) possess broad world knowledge and strong general-purpose reasoning ability, yet they struggle to learn from many in-context examples on standard machine learning (ML) tasks, that is, to leverage many-shot demonstrations purely via in-context learning (ICL) without gradient descent. We introduce MachineLearningLM, a portable continued-pretraining framework that equips a general-purpose LLM with robust in-context ML capability while preserving its general knowledge and reasoning for broader chat workflows. Our pretraining procedure synthesizes ML tasks from millions of structural causal models (SCMs), spanning shot counts up to 1,024. We begin with a random-forest teacher, distilling tree-based decision strategies into the LLM to strengthen robustness in numerical modeling. All tasks are serialized with a token-efficient prompt, enabling 3x to 6x more examples per context window and delivering up to 50x amortized throughput via batch inference. Despite a modest setup (Qwen-2.5-7B-Instruct with LoRA rank 8), MachineLearningLM outperforms strong LLM baselines (e.g., GPT-5-mini) by an average of about 15% on out-of-distribution tabular classification across finance, physics, biology, and healthcare domains. It exhibits a striking many-shot scaling law: accuracy increases monotonically as in-context demonstrations grow from 8 to 1,024. Without any task-specific training, it attains random-forest-level accuracy across hundreds of shots. General chat capabilities, including knowledge and reasoning, are preserved: it achieves 75.4% on MMLU.