Como o Pós-Treinamento Molda os Modelos de Raciocínio Biológico

Resumo

Modelos de raciocínio científico para biologia combinam modelos de linguagem com modelos fundamentais treinados em dados biológicos multimodais, incluindo DNA, RNA e proteínas. Esses modelos são construídos por meio de pós-treinamento, mas ainda não se compreende bem como cada etapa molda o raciocínio e a generalização. Estudamos quando o pós-treinamento melhora o desempenho e quando induz superespecialização. Em genômica, transcriptômica e proteínas, treinamos e avaliamos mais de 100 modelos de raciocínio biológico sob variação controlada de arquitetura base, pré-treinamento contínuo (CPT), ajuste fino supervisionado (SFT) e aprendizado por reforço (RL), medindo tanto o desempenho dentro do domínio (ID) quanto fora do domínio (OOD). Constatamos que cada etapa do pós-treinamento remodela a generalização de maneira distinta, em vez de contribuir com ganhos uniformes. O CPT melhora o desempenho downstream ao alinhar os modelos com a linguagem biológica. O SFT aumenta consistentemente o desempenho ID, mas faz com que o desempenho OOD atinja o pico precocemente e decline à medida que os modelos se ajustam à distribuição de treinamento. O RL, quando aplicado a checkpoints SFT robustos com recompensas alinhadas, melhora o desempenho OOD e recupera parcialmente a generalização. Esses resultados mostram que o raciocínio biológico não melhora monotonicamente com supervisão ou poder computacional adicionais. Em vez disso, o desempenho depende de como as etapas de treinamento são compostas. Sob orçamentos fixos de pós-treinamento, a melhor relação custo-benefício entre ID e OOD vem de um SFT breve, maiores alocações de RL e capacidade de adaptação assimétrica entre as etapas.

English

Scientific reasoning models for biology combine language models with foundation models trained on multimodal biological data, including DNA, RNA, and proteins. These models are built through post-training, yet how each stage shapes reasoning and generalization remains poorly understood. We study when post-training improves performance and when it induces over-specialization. Across genomics, transcriptomics, and proteins, we train and evaluate more than 100 biological reasoning models under controlled variation in backbone, continued pre-training (CPT), supervised fine-tuning (SFT), and reinforcement learning (RL), measuring both in-domain (ID) and out-of-domain (OOD) performance. We find that each post-training stage reshapes generalization in a distinct way rather than contributing uniform gains. CPT improves downstream performance by aligning models with biological language. SFT consistently increases ID performance but causes OOD performance to peak early and decline as models fit the training distribution. RL, when applied to strong SFT checkpoints with aligned rewards, improves OOD performance and partially recovers generalization. These results show that biological reasoning does not improve monotonically with additional supervision or compute. Instead, performance depends on how training stages are composed. Under fixed post-training budgets, the strongest ID-OOD trade-off comes from brief SFT, larger RL allocations, and asymmetric adaptation capacity across stages.