트리거 학습: 대형 강입자 충돌기에서의 강화 학습

초록

고처리량 과학 시설, 예를 들어 대형 강입자 충돌기(Large Hadron Collider)는 대역폭, 지연 시간, 저장 공간에 대한 엄격한 제약 조건 하에서 실시간 이벤트 필터링(트리거링)에 의존한다. 실제로 트리거 메뉴는 대부분 정적이며 수동으로 조정되어, 검출기 조건, 파일업(pileup), 배경 구성이 시간에 따라 변함에 따라 최적이 아닐 수 있다. 본 연구에서는 온라인 임계값 조정을 순차적 의사 결정 문제로 구성한다. 즉, 강화 학습 에이전트가 최근 속도와 신호 민감 특성에 대한 스트리밍 요약을 입력받아, 허용 오차 대역 내에서 목표 배경률을 추적하면서 신호 효율을 최대화하도록 트리거 임계값을 업데이트한다. 그룹 필터 정책 최적화(Group-Filtered Policy Optimization, GFPO)를 스트리밍 제어에 적용하고, 훈련 중 배경률 실현 가능성을 강제하는 두 가지 변형(GFPO-F, GFPO-FR)을 도입한다. 실제적인 충돌기 운용을 모사하는 벤치마크에서, 파일업 변동에 민감한 총 횡방향 에너지(H_T) 트리거와 드물거나 비표준 신호를 위한 재구성 손실 기반 이상 탐지(AD) 트리거라는 두 가지 대표적인 트리거를 연구한다. 몬테카를로 스트림에서, 본 연구의 에이전트는 허용 오차 내 시간 구간 비율을 H_T의 경우 48%, AD의 경우 28% 증가시켰으며, 해당 허용 오차 내 구간에서 신호 효율의 누적 이득은 최대 2%에 달했다. 시뮬레이션에서 실제 충돌 데이터(CMS 실행 283408)로 전환했을 때, 동일한 에이전트는 미세 조정 없이도 기준선 대비 H_T에서 56%, AD에서 28%의 허용 오차 내 개선을 달성했으며, 두 트리거 모두에서 추가적인 신호 효율 이득을 보였다. 본 연구가 실제 대형 강입자 충돌기 충돌 데이터에 강화 학습 기반 트리거 제어를 적용한 최초의 사례라고 할 수 있다. 코드는 https://github.com/Zixind/GFPO_LHC에서 확인할 수 있다(세부 사항은 저장소 참조).

English

High-throughput scientific facilities such as the Large Hadron Collider depend on real-time event filtering (triggering) under tight constraints on bandwidth, latency, and storage. In practice, trigger menus are largely static and hand-tuned and can become suboptimal as detector conditions, pileup, and background composition drift over time. We cast online threshold tuning as a sequential decision-making problem: a reinforcement learning agent ingests streaming summaries of recent rates and signal-sensitive features and updates trigger thresholds to maximize signal efficiency while tracking a target background rate within a tolerance band. We adapt Group-Filtered Policy Optimization (GFPO) to streaming control and introduce two variants (GFPO-F, GFPO-FR) that enforce background rate feasibility during training. On a benchmark that emulates realistic collider operation, we study two representative triggers: a total transverse energy (H_{T}) trigger sensitive to pileup variation, and an anomaly-detection (AD) trigger based on reconstruction loss for rare or non-standard signatures. On Monte Carlo streams, our agent increases the fraction of in-tolerance time intervals by 48\% (H_T) and 28\% (AD), with a cumulative gain of up to 2\% in signal efficiency on those in-tolerance intervals. Transferring from simulation to real collision data (CMS Run 283408), the same agent, without fine-tuning, achieves a 56\% (H_T) and 28\% (AD) in-tolerance improvement over baselines, with further signal-efficiency gain on both triggers. To our knowledge, this is the first demonstration of RL-based trigger control on real Large Hadron Collider collision data. Code is available at https://github.com/Zixind/GFPO_LHC (see repo for details).