플라즈마 진단 모델에서의 센서 강건성 벤치마킹: TokaMark에 대한 체계적 평가

초록

토카막 핵융합 장치용 플라즈마 진단 모델은 거의 보편적으로 깨끗하고 완전한 센서 데이터를 기반으로 평가된다. 그러나 실제로 핵융합 진단 장치는 정기적으로 고장난다. 데이터 수집 시스템이 늦게 시작되거나, 개별 센서가 죽거나, 신호 손실이 플라즈마 방전 파괴(disruption)가 임박한 시점에 정확히 집중된다. 본 연구는 11,573개의 MAST 샷으로 구성된 TokaMark 데이터셋을 사용하여 플라즈마 진단 머신러닝에 대한 최초의 체계적 강건성 벤치마크를 제시한다. XGBoost, LSTM, Transformer, 그리고 TokaMark CNN 기준 모델을 여섯 가지 물리 기반 고장 시나리오와 세 가지 대체(imputation) 전략에 걸쳐 평가한다. 표준화된 교차 아키텍처 비교를 위해 강건성 점수(RS)를 도입한다. 핵심 발견은 방전 파괴 근접 센서 고장(최종 윈도우 시간 단계에서 주입된 오염)이 시퀀스 모델 성능을 급락시키는 반면(LSTM +212% NRMSE), 통계적 특징 모델은 상대적으로 안정적(XGBoost +37%)이라는 점이다. 순방향 채움(forward-fill) 대체는 시퀀스 모델의 무작위 드롭아웃으로 인한 성능 저하를 거의 제거하지만(LSTM +57%에서 ~0%), 윈도우 끝부분이 오염된 경우에는 거의 도움이 되지 않는다. 실제 방전 파괴 타임스탬프를 사용한 샷 수준의 경보 평가 결과, 근접 센서 고장 시 LSTM 경보 탐지가 TPR=0.00으로 붕괴되는 반면, 평균 채움(mean-fill) 대체가 이를 TPR=1.00으로 회복시켜 NRMSE에서 관찰된 패턴과 반대되는 결과를 보였다. 플라즈마 전류는 모든 아키텍처에서 가장 중요한 단일 진단 변수로 나타났다(제거 시 +73% ~ +140%). 코드, 데이터 및 학습된 체크포인트는 https://github.com/Neerav-Gupta/tokamark-robustness에서 확인할 수 있다.

English

Plasma diagnostic models for tokamak fusion devices are almost universally evaluated on clean, complete sensor data. In practice, fusion diagnostics fail regularly: acquisition systems start late, individual sensors die, and signal dropouts cluster precisely when a plasma disruption is approaching. We present the first systematic robustness benchmark for plasma diagnostic ML using the TokaMark dataset of 11,573 MAST shots, evaluating XGBoost, LSTM, Transformer, and the TokaMark CNN baseline across six physically-grounded failure scenarios and three imputation strategies. We introduce the Robustness Score (RS) for standardized cross-architecture comparison. Our central finding is that disruption-proximate sensor failure (corruption injected in the final window timesteps) collapses sequence model performance (LSTM +212% NRMSE) while a statistical feature model remains comparatively stable (XGBoost +37%). Forward-fill imputation eliminates nearly all degradation from random dropout for sequence models (LSTM +57% to ~0%), but offers little help when the end of the window is corrupted. Shot-level alarm evaluation using ground-truth disruption timestamps reveals that LSTM alarm detection collapses to TPR=0.00 under proximate sensor failure, while mean-fill imputation recovers it to TPR=1.00, a reversal of the pattern observed in NRMSE. Plasma current emerges as the single most critical diagnostic across all architectures (+73% to +140% upon removal). Code, data, and trained checkpoints are available at https://github.com/Neerav-Gupta/tokamark-robustness.