Повторение данных превосходит масштабирование данных при тонкой настройке с обучением на длинных цепочках рассуждений

Data Repetition Beats Data Scaling in Long-CoT Supervised Fine-Tuning

February 11, 2026

Авторы: Dawid J. Kopiczko, Sagar Vaze, Tijmen Blankevoort, Yuki M. Asano

cs.AI

Аннотация

Контролируемое тонкое настройка (SFT) на данных, содержащих цепочку рассуждений, является важным этапом пост-обучения для языковых моделей, ориентированных на логический вывод. Стандартная интуиция машинного обучения предполагает, что обучение с большим количеством уникальных примеров дает лучшее обобщение. Однако, вопреки ожиданиям, мы показываем, что SFT выигрывает от повторения: при фиксированном бюджете обновлений обучение в течение большего количества эпох на меньших наборах данных превосходит обучение в одну эпоху на больших наборах данных. На бенчмарках AIME'24/25 и GPQA модель Olmo3-7B, обученная в течение 128 эпох на 400 примерах, превосходит эквивалентную модель, обученную в 1 эпоху на 51200 примерах, на 12–26 процентных пунктов, без дополнительного катастрофического забывания. Мы обнаружили, что точность предсказания токенов во время обучения надежно сигнализирует о насыщении от повторения: улучшения от дополнительных эпох выходят на плато при полном запоминании, и эта закономерность сохраняется во всех условиях. Эти результаты предлагают практический подход к SFT для рассуждений, когда масштабирование количества эпох с использованием точности токенов в качестве критерия остановки может заменить дорогостоящее ненаправленное масштабирование данных. Мы формулируем преимущество повторения, при котором полное запоминание совпадает с улучшением обобщения, как новую открытую проблему для сообщества в понимании динамики обучения больших языковых моделей.

English

Supervised fine-tuning (SFT) on chain-of-thought data is an essential post-training step for reasoning language models. Standard machine learning intuition suggests that training with more unique training samples yields better generalization. Counterintuitively, we show that SFT benefits from repetition: under a fixed update budget, training for more epochs on smaller datasets outperforms single-epoch training on larger datasets. On AIME'24/25 and GPQA benchmarks, Olmo3-7B trained for 128 epochs on 400 samples outperforms the equivalent 1 epoch on 51200 samples by 12-26 percentage points, with no additional catastrophic forgetting. We find that training token accuracy reliably signals when repetition has saturated; improvements from additional epochs plateau at full memorization, a pattern consistent across all settings. These findings provide a practical approach for reasoning SFT, where scaling epochs with token accuracy as a stopping criterion can replace expensive undirected data scaling. We pose the repetition advantage, where full memorization coincides with improved generalization, as a new open problem for the community in understanding the training dynamics of large language models.