Comment le post-entraînement façonne les modèles de raisonnement biologique

Résumé

Les modèles de raisonnement scientifique pour la biologie combinent des modèles de langage avec des modèles fondamentaux entraînés sur des données biologiques multimodales, notamment l'ADN, l'ARN et les protéines. Ces modèles sont construits par post-entraînement, mais la manière dont chaque étape façonne le raisonnement et la généralisation reste mal comprise. Nous étudions quand le post-entraînement améliore la performance et quand il induit une sur-spécialisation. En génomique, transcriptomique et protéomique, nous entraînons et évaluons plus de 100 modèles de raisonnement biologique sous variation contrôlée de l'architecture de base, du pré-entraînement continu (PEC), de l'ajustement fin supervisé (AFS) et de l'apprentissage par renforcement (AR), en mesurant à la fois la performance intra-domaine (ID) et extra-domaine (ED). Nous constatons que chaque étape de post-entraînement remodèle la généralisation d'une manière distincte, plutôt que d'apporter des gains uniformes. Le PEC améliore la performance en aval en alignant les modèles sur le langage biologique. L'AFS augmente systématiquement la performance ID, mais entraîne un pic précoce de la performance ED suivi d'un déclin à mesure que les modèles s'ajustent à la distribution d'entraînement. L'AR, appliqué à des points de contrôle AFS solides avec des récompenses alignées, améliore la performance ED et récupère partiellement la généralisation. Ces résultats montrent que le raisonnement biologique ne s'améliore pas de manière monotone avec une supervision ou une puissance de calcul supplémentaire. Au contraire, la performance dépend de la composition des étapes d'entraînement. Sous des budgets de post-entraînement fixes, le meilleur compromis ID-ED provient d'un AFS court, d'une allocation plus importante à l'AR et d'une capacité d'adaptation asymétrique entre les étapes.

English

Scientific reasoning models for biology combine language models with foundation models trained on multimodal biological data, including DNA, RNA, and proteins. These models are built through post-training, yet how each stage shapes reasoning and generalization remains poorly understood. We study when post-training improves performance and when it induces over-specialization. Across genomics, transcriptomics, and proteins, we train and evaluate more than 100 biological reasoning models under controlled variation in backbone, continued pre-training (CPT), supervised fine-tuning (SFT), and reinforcement learning (RL), measuring both in-domain (ID) and out-of-domain (OOD) performance. We find that each post-training stage reshapes generalization in a distinct way rather than contributing uniform gains. CPT improves downstream performance by aligning models with biological language. SFT consistently increases ID performance but causes OOD performance to peak early and decline as models fit the training distribution. RL, when applied to strong SFT checkpoints with aligned rewards, improves OOD performance and partially recovers generalization. These results show that biological reasoning does not improve monotonically with additional supervision or compute. Instead, performance depends on how training stages are composed. Under fixed post-training budgets, the strongest ID-OOD trade-off comes from brief SFT, larger RL allocations, and asymmetric adaptation capacity across stages.