대화형 훈련 2: 실시간 모델 훈련을 위한 감사 가능한 제어 평면

초록

실험 트래커는 훈련 진행 상황을 보여주지만, 실행 중인 훈련을 변경하려면 여전히 트레이너별 코드가 필요한 경우가 일반적이다. 본 논문에서는 공유 프로토콜을 통해 훈련을 조정하기 위한 오픈소스 제어 평면인 Interactive Training 2를 소개한다. 훈련 애플리케이션은 노출하는 설정과 작업을 선언하고, 사용자와 자동화된 컨트롤러는 동일한 인터페이스를 통해 요청을 제출하며, 훈련 루프는 이를 안전한 제어 지점에서 검증하고 적용한다. 맞춤형 Aim 작업 공간은 실시간 메트릭과 컨트롤을 요청 및 결과의 시간순 기록과 결합한다. 우리는 이 시스템을 자연어 처리 및 강화 학습 워크플로우 다섯 가지에서 시연한다. 공개된 코드와 추적 기록은 감사 가능한 인간 및 에이전트 주도 훈련을 위한 재사용 가능한 기반을 제공한다.

English

Experiment trackers show how training is progressing, but changing a live run still usually requires trainer-specific code. We present Interactive Training 2, an open-source control plane for steering training through a shared protocol. Training applications declare which settings and actions they expose, humans and automated controllers submit requests through the same interface, and the training loop validates and applies them at safe control points. A customized Aim workspace combines live metrics and controls with a chronological record of requests and outcomes. We demonstrate the system across five NLP and reinforcement-learning workflows. The released code and traces provide a reusable foundation for auditable human- and agent-guided training.