Cómo el post-entrenamiento moldea los modelos de razonamiento biológico

Resumen

Los modelos de razonamiento científico para biología combinan modelos lingüísticos con modelos base entrenados en datos biológicos multimodales, incluyendo ADN, ARN y proteínas. Estos modelos se construyen mediante posentrenamiento, aunque todavía no se comprende bien cómo cada etapa moldea el razonamiento y la generalización. Estudiamos cuándo el posentrenamiento mejora el rendimiento y cuándo induce una sobrespecialización. En genómica, transcriptómica y proteínas, entrenamos y evaluamos más de 100 modelos de razonamiento biológico con variaciones controladas en el modelo base, el preentrenamiento continuado (CPT), el ajuste fino supervisado (SFT) y el aprendizaje por refuerzo (RL), midiendo el rendimiento tanto intradominio (ID) como extradominio (OOD). Descubrimos que cada etapa de posentrenamiento remodela la generalización de manera distinta, en lugar de contribuir con mejoras uniformes. El CPT mejora el rendimiento posterior al alinear los modelos con el lenguaje biológico. El SFT incrementa consistentemente el rendimiento ID, pero provoca que el rendimiento OOD alcance un pico temprano y luego decline a medida que los modelos se ajustan a la distribución de entrenamiento. El RL, cuando se aplica a puntos de control SFT sólidos con recompensas alineadas, mejora el rendimiento OOD y recupera parcialmente la generalización. Estos resultados muestran que el razonamiento biológico no mejora de manera monótona con supervisión adicional o mayor capacidad computacional. En cambio, el rendimiento depende de cómo se componen las etapas de entrenamiento. Bajo presupuestos fijos de posentrenamiento, el mejor equilibrio ID-OOD se logra con un SFT breve, mayores asignaciones de RL y una capacidad de adaptación asimétrica entre etapas.

English

Scientific reasoning models for biology combine language models with foundation models trained on multimodal biological data, including DNA, RNA, and proteins. These models are built through post-training, yet how each stage shapes reasoning and generalization remains poorly understood. We study when post-training improves performance and when it induces over-specialization. Across genomics, transcriptomics, and proteins, we train and evaluate more than 100 biological reasoning models under controlled variation in backbone, continued pre-training (CPT), supervised fine-tuning (SFT), and reinforcement learning (RL), measuring both in-domain (ID) and out-of-domain (OOD) performance. We find that each post-training stage reshapes generalization in a distinct way rather than contributing uniform gains. CPT improves downstream performance by aligning models with biological language. SFT consistently increases ID performance but causes OOD performance to peak early and decline as models fit the training distribution. RL, when applied to strong SFT checkpoints with aligned rewards, improves OOD performance and partially recovers generalization. These results show that biological reasoning does not improve monotonically with additional supervision or compute. Instead, performance depends on how training stages are composed. Under fixed post-training budgets, the strongest ID-OOD trade-off comes from brief SFT, larger RL allocations, and asymmetric adaptation capacity across stages.