Molt: 에이전트 기반 강화 학습을 위한 확장 가능한 PyTorch 네이티브 훈련 프레임워크

초록

에이전트 강화 학습 연구는 끊임없는 알고리즘 수정, 새로운 추정기, 새로운 파이프라인 단계, 새로운 롤아웃 방식을 수반하며, 주류 프레임워크에서는 각 변경이 트레이너, 분산 백엔드, 롤아웃 접합 레이어를 관통하여 매 반복마다 연구자에게 비용을 부담시킵니다. Molt는 이러한 비용을 최소화하기 위해 설계된 PyTorch 네이티브 학습 프레임워크입니다. 연구자가 머릿속에 담을 수 있을 만큼 간결하고 정돈된 코드베이스를 제공하며, AI 코딩 어시스턴트가 전체를 읽고 추론할 수 있도록 하여 알고리즘 흐름을 처음부터 끝까지 추적하고 변경할 수 있습니다. 에이전트는 일반 프로그램이며, 하나의 비동기 루프는 멀티모달 및 전문가 혼합 정책을 학습하면서, 자신이 생성하지 않은 토큰에 대해 절대 학습하지 않도록 하여 토큰, 정책 버전, 모델 의미론에서 일관성을 유지합니다. 간결함이 성능을 희생하지는 않습니다. 완전히 일치된 비동기 프로토콜 하에서 Molt는 최첨단 Megatron 기반 스택과 통계적으로 유사한 성능을 보입니다. Molt는 오픈 소스로 제공되며, https://github.com/NVIDIA-NeMo/labs-molt에서 레시피와 컨테이너를 제공합니다.

English

Agentic reinforcement learning research is constant algorithm modification, new estimators, new pipeline stages, new rollout schemes, and in mainstream frameworks each change threads through layers of trainer, distributed backend, and rollout glue: the cost lands on the researcher at every iteration. Molt is a PyTorch-native training framework built to keep that cost small: a codebase compact and clean enough for a researcher to hold in their head, and for an AI coding assistant to read and reason about in its entirety, so the algorithm flow can be traced and changed end to end. The agent is an ordinary program, and one asynchronous loop trains multimodal and mixture-of-experts policies while never training on a token it did not generate, consistent in tokens, policy versions, and model semantics. Leanness does not cost performance: under a matched, fully asynchronous protocol, Molt is statistically comparable to a state-of-the-art Megatron-based stack. Molt is open source and provides recipes and containers at https://github.com/NVIDIA-NeMo/labs-molt.