Intern-S2-Preview: 과학적 에이전트 기초 모델

초록

과학적 발견은 점점 더 이질적 양식의 과학적 증거에 대해 추론하고, 과학적 도구 및 환경과 상호작용하며, 긴 작업 지평에 걸쳐 지속적으로 진전을 유지할 수 있는 AI 시스템을 요구한다. 본 논문에서는 멀티모달 과학적 이해, 추론, 생성 및 장기 지평 작업을 지원하도록 설계된 과학적 에이전틱 기반 모델 시리즈인 Intern-S2-Preview를 제시한다. 훈련 파이프라인은 렌더링된 과학 문서, 인터리브된 이미지-텍스트 데이터, 다양한 과학 말뭉치에 대한 과학적 멀티모달 사전학습으로 시작된다. 사전학습된 체크포인트에서 출발하여 지도 미세조정, 확장 가능한 다중 작업 강화학습(RL), 블랙박스 및 화이트박스 에이전틱 RL, 온폴리시 증류로 구성된 통합 사후 훈련 파이프라인을 적용한다. 이 파이프라인은 오프폴리시 보정을 통한 부분 롤아웃, 적응형 길이 정규화, 온라인 추측 디코딩, 강건한 다중 작업 최적화, 에이전틱 작업을 위한 추적 인지 경험 조립 등 롤아웃 및 훈련 안정성과 효율성을 개선하는 실용적 기법들에 의해 뒷받침된다. 아키텍처 수준에서 Intern-S2-Preview-397B는 시계열 모델링을 효율적인 장기 시퀀스 이해에서 수치 예측으로 확장하며, 메모리 디코더는 고정된 397B 백본을 수정하지 않고 빠른 과학적 특화를 위한 별도의 메모리 증강 경로로 연구된다. 과학, 멀티모달, 에이전틱 및 범용 벤치마크에 걸친 평가는 Intern-S2-Preview-397B가 다양한 설정에서 경쟁력 있거나 선도적인 결과를 달성함을 보여준다. 시계열 모듈은 SciTS에서 과학적 신호 이해와 예측을 개선하며, 별도의 Intern-MemDec-4B 확장은 고정된 397B 백본을 수정하지 않고 Biology-Instructions 평균 점수를 56.92에서 60.32로 향상시킨다.

English

Scientific discovery increasingly requires AI systems that can reason over scientific evidence of heterogeneous modalities, interact with scientific tools and environments, and sustain progress across long task horizons. We present Intern-S2-Preview, a series of scientific agentic foundation models designed to support multimodal scientific understanding, reasoning, generation, and long-horizon tasks. The training pipeline begins with scientific multimodal pre-training over rendered scientific documents, interleaved image-text data, and diverse scientific corpora. Starting from the pretrained checkpoint, we apply a unified post-training pipeline consisting of supervised fine-tuning, scalable multi-task reinforcement learning (RL), black- and white-box agentic RL, and on-policy distillation. This pipeline is supported by practical techniques that improve rollout and training stability and efficiency, including partial rollout with off-policy correction, adaptive length regularization, online speculative decoding, robust multi-task optimization, and trace-aware experience assembly for agentic tasks. At the architecture level, Intern-S2-Preview-397B extends time series modelling from efficient long-sequence understanding to numerical forecasting, while Memory Decoder is studied as a separate memory-augmented path for rapid scientific specialization without modifying the frozen 397B backbone. Evaluations across scientific, multimodal, agentic, and general-purpose benchmarks show that Intern-S2-Preview-397B achieves competitive or leading results in multiple settings. The time series modules improve scientific signal understanding and forecasting on SciTS, while the separate Intern-MemDec-4B extension improves the Biology-Instructions average score from 56.92 to 60.32 without modifying the frozen 397B backbone.