상호작용적 학습: 피드백 기반 신경망 최적화

초록

기존의 신경망 학습은 일반적으로 고정된, 미리 정의된 최적화 방식을 따르며, 불안정성이나 학습 중 발생하는 문제에 동적으로 대응할 수 있는 유연성이 부족합니다. 본 논문에서는 인간 전문가나 자동화된 AI 에이전트가 신경망 학습 과정 중 실시간으로 피드백 기반 개입을 가능하게 하는 오픈소스 프레임워크인 Interactive Training을 소개합니다. Interactive Training의 핵심은 사용자 또는 에이전트와 진행 중인 학습 프로세스 간의 통신을 중재하는 제어 서버를 사용하여, 사용자가 최적화 하이퍼파라미터, 학습 데이터, 모델 체크포인트를 동적으로 조정할 수 있도록 합니다. 세 가지 사례 연구를 통해 Interactive Training이 학습 안정성 향상, 초기 하이퍼파라미터에 대한 민감도 감소, 그리고 변화하는 사용자 요구에 대한 적응성 개선을 달성함을 보여줌으로써, AI 에이전트가 학습 로그를 자율적으로 모니터링하고 불안정성을 사전에 해결하며 학습 역학을 최적화하는 미래의 학습 패러다임을 제시합니다.

English

Traditional neural network training typically follows fixed, predefined optimization recipes, lacking the flexibility to dynamically respond to instabilities or emerging training issues. In this paper, we introduce Interactive Training, an open-source framework that enables real-time, feedback-driven intervention during neural network training by human experts or automated AI agents. At its core, Interactive Training uses a control server to mediate communication between users or agents and the ongoing training process, allowing users to dynamically adjust optimizer hyperparameters, training data, and model checkpoints. Through three case studies, we demonstrate that Interactive Training achieves superior training stability, reduced sensitivity to initial hyperparameters, and improved adaptability to evolving user needs, paving the way toward a future training paradigm where AI agents autonomously monitor training logs, proactively resolve instabilities, and optimize training dynamics.

상호작용적 학습: 피드백 기반 신경망 최적화

Interactive Training: Feedback-Driven Neural Network Optimization

초록

Support