トリガーを学ぶ：大型ハドロン衝突型加速器における強化学習

要旨

大型ハドロン衝突型加速器のような高スループットの科学施設は、帯域幅、レイテンシ、ストレージに関する厳しい制約の下で、リアルタイムのイベントフィルタリング（トリガー）に依存しています。実際には、トリガーメニューは主に静的で手動調整されており、検出器状態、パイルアップ、背景構成が時間とともに変動するにつれて、最適でなくなる可能性があります。我々はオンライン閾値チューニングを逐次意思決定問題として捉えます。すなわち、強化学習エージェントが最近のレートと信号に敏感な特徴量のストリーミング要約を入力として取り込み、目標背景レートを許容帯内に追跡しながら信号効率を最大化するようにトリガー閾値を更新します。我々はグループフィルタリング政策最適化（GFPO）をストリーミング制御に適応させ、訓練中に背景レートの実現可能性を強制する2つの変種（GFPO-F、GFPO-FR）を導入します。現実的な衝突器動作を模擬したベンチマークにおいて、我々は2つの代表的なトリガーを研究します。すなわち、パイルアップ変動に敏感な全横エネルギー（H_T）トリガーと、希少または非標準的なシグネチャに対する再構成損失に基づく異常検出（AD）トリガーです。モンテカルロストリームにおいて、本エージェントは許容範囲内の時間間隔の割合を48%（H_T）および28%（AD）向上させ、これらの許容範囲内区間における信号効率で最大2%の累積利得を達成します。シミュレーションから実衝突データ（CMSラン283408）への転用において、同一エージェントはファインチューニングなしで、ベースラインに対して56%（H_T）および28%（AD）の許容範囲内改善を達成し、両トリガーでさらなる信号効率の利得も得られます。我々の知る限り、これは実Large Hadron Collider衝突データにおけるRLベースのトリガー制御の初の実証です。コードはhttps://github.com/Zixind/GFPO_LHCで入手可能です（詳細はリポジトリ参照）。

English

High-throughput scientific facilities such as the Large Hadron Collider depend on real-time event filtering (triggering) under tight constraints on bandwidth, latency, and storage. In practice, trigger menus are largely static and hand-tuned and can become suboptimal as detector conditions, pileup, and background composition drift over time. We cast online threshold tuning as a sequential decision-making problem: a reinforcement learning agent ingests streaming summaries of recent rates and signal-sensitive features and updates trigger thresholds to maximize signal efficiency while tracking a target background rate within a tolerance band. We adapt Group-Filtered Policy Optimization (GFPO) to streaming control and introduce two variants (GFPO-F, GFPO-FR) that enforce background rate feasibility during training. On a benchmark that emulates realistic collider operation, we study two representative triggers: a total transverse energy (H_{T}) trigger sensitive to pileup variation, and an anomaly-detection (AD) trigger based on reconstruction loss for rare or non-standard signatures. On Monte Carlo streams, our agent increases the fraction of in-tolerance time intervals by 48\% (H_T) and 28\% (AD), with a cumulative gain of up to 2\% in signal efficiency on those in-tolerance intervals. Transferring from simulation to real collision data (CMS Run 283408), the same agent, without fine-tuning, achieves a 56\% (H_T) and 28\% (AD) in-tolerance improvement over baselines, with further signal-efficiency gain on both triggers. To our knowledge, this is the first demonstration of RL-based trigger control on real Large Hadron Collider collision data. Code is available at https://github.com/Zixind/GFPO_LHC (see repo for details).