Intern-S2-Preview: 科学エージェント基盤モデル

要旨

科学上の発見には、異種モダリティにわたる科学的証拠を推論し、科学ツールや環境と相互作用し、長大なタスク期間にわたって進捗を持続できるAIシステムがますます求められています。本稿では、マルチモーダルな科学的理解、推論、生成、および長期的タスクを支援するために設計された科学エージェント基盤モデル群であるIntern-S2-Previewシリーズを紹介します。学習パイプラインは、レンダリングされた科学文書、インターリーブされた画像-テキストデータ、および多様な科学コーパスに対する科学的マルチモーダル事前学習から始まります。事前学習済みチェックポイントを起点として、教師ありファインチューニング、スケーラブルなマルチタスク強化学習（RL）、ブラックボックス型およびホワイトボックス型のエージェントRL、オンポリシー蒸留から構成される統合ポストトレーニングパイプラインを適用します。このパイプラインは、オフポリシー補正を伴う部分ロールアウト、適応的長さ正則化、オンライン投機的デコード、ロバストなマルチタスク最適化、およびエージェントタスクのためのトレース認識型経験アセンブリを含む、ロールアウトと学習の安定性および効率を向上させる実用的な手法によって支えられています。アーキテクチャレベルでは、Intern-S2-Preview-397Bが時系列モデリングを効率的な長系列理解から数値予測へと拡張する一方で、Memory Decoderは、凍結された397Bバックボーンを変更することなく迅速な科学特化を実現する独立したメモリ拡張経路として研究されています。科学、マルチモーダル、エージェント、および汎用ベンチマークにわたる評価により、Intern-S2-Preview-397Bは複数の設定において競争力のある、またはトップクラスの結果を達成することが示されています。時系列モジュールはSciTSにおける科学的信号の理解と予測を改善し、また独立したIntern-MemDec-4B拡張は、凍結された397Bバックボーンを変更することなく、Biology-Instructionsの平均スコアを56.92から60.32に向上させます。

English

Scientific discovery increasingly requires AI systems that can reason over scientific evidence of heterogeneous modalities, interact with scientific tools and environments, and sustain progress across long task horizons. We present Intern-S2-Preview, a series of scientific agentic foundation models designed to support multimodal scientific understanding, reasoning, generation, and long-horizon tasks. The training pipeline begins with scientific multimodal pre-training over rendered scientific documents, interleaved image-text data, and diverse scientific corpora. Starting from the pretrained checkpoint, we apply a unified post-training pipeline consisting of supervised fine-tuning, scalable multi-task reinforcement learning (RL), black- and white-box agentic RL, and on-policy distillation. This pipeline is supported by practical techniques that improve rollout and training stability and efficiency, including partial rollout with off-policy correction, adaptive length regularization, online speculative decoding, robust multi-task optimization, and trace-aware experience assembly for agentic tasks. At the architecture level, Intern-S2-Preview-397B extends time series modelling from efficient long-sequence understanding to numerical forecasting, while Memory Decoder is studied as a separate memory-augmented path for rapid scientific specialization without modifying the frozen 397B backbone. Evaluations across scientific, multimodal, agentic, and general-purpose benchmarks show that Intern-S2-Preview-397B achieves competitive or leading results in multiple settings. The time series modules improve scientific signal understanding and forecasting on SciTS, while the separate Intern-MemDec-4B extension improves the Biology-Instructions average score from 56.92 to 60.32 without modifying the frozen 397B backbone.