Wie Post-Training biologische Schlussfolgerungsmodelle prägt

Zusammenfassung

Wissenschaftliche Reasoning-Modelle für die Biologie kombinieren Sprachmodelle mit Foundation-Modellen, die auf multimodalen biologischen Daten, einschließlich DNA, RNA und Proteinen, trainiert werden. Diese Modelle werden durch Post-Training aufgebaut, doch wie jede Stufe das Reasoning und die Generalisierung formt, ist noch wenig verstanden. Wir untersuchen, wann Post-Training die Leistung verbessert und wann es zu Überspezialisierung führt. Über Genomik, Transkriptomik und Proteine hinweg trainieren und evaluieren wir mehr als 100 biologische Reasoning-Modelle unter kontrollierter Variation von Backbone, fortgesetztem Pre-Training (CPT), überwachtem Fine-Tuning (SFT) und Reinforcement Learning (RL) und messen sowohl die In-Domain (ID)- als auch die Out-of-Domain (OOD)-Leistung. Wir stellen fest, dass jede Post-Training-Stufe die Generalisierung auf unterschiedliche Weise umformt, anstatt einheitliche Verbesserungen zu liefern. CPT verbessert die nachgelagerte Leistung, indem es die Modelle an die biologische Sprache anpasst. SFT erhöht konsistent die ID-Leistung, führt jedoch dazu, dass die OOD-Leistung früh einen Höhepunkt erreicht und dann abfällt, wenn die Modelle an die Trainingsverteilung angepasst werden. RL, angewendet auf starke SFT-Checkpoints mit abgestimmten Belohnungen, verbessert die OOD-Leistung und stellt die Generalisierung teilweise wieder her. Diese Ergebnisse zeigen, dass biologisches Reasoning nicht monoton mit zusätzlicher Überwachung oder Rechenleistung verbessert wird. Stattdessen hängt die Leistung davon ab, wie die Trainingsstufen zusammengesetzt sind. Bei festen Post-Training-Budgets ergibt sich der stärkste ID-OOD-Kompromiss aus kurzem SFT, größeren RL-Zuweisungen und asymmetrischer Anpassungskapazität über die Stufen hinweg.

English

Scientific reasoning models for biology combine language models with foundation models trained on multimodal biological data, including DNA, RNA, and proteins. These models are built through post-training, yet how each stage shapes reasoning and generalization remains poorly understood. We study when post-training improves performance and when it induces over-specialization. Across genomics, transcriptomics, and proteins, we train and evaluate more than 100 biological reasoning models under controlled variation in backbone, continued pre-training (CPT), supervised fine-tuning (SFT), and reinforcement learning (RL), measuring both in-domain (ID) and out-of-domain (OOD) performance. We find that each post-training stage reshapes generalization in a distinct way rather than contributing uniform gains. CPT improves downstream performance by aligning models with biological language. SFT consistently increases ID performance but causes OOD performance to peak early and decline as models fit the training distribution. RL, when applied to strong SFT checkpoints with aligned rewards, improves OOD performance and partially recovers generalization. These results show that biological reasoning does not improve monotonically with additional supervision or compute. Instead, performance depends on how training stages are composed. Under fixed post-training budgets, the strongest ID-OOD trade-off comes from brief SFT, larger RL allocations, and asymmetric adaptation capacity across stages.