Triggern lernen: Reinforcement Learning am Large Hadron Collider

Zusammenfassung

Hochdurchsatz-Wissenschaftseinrichtungen wie der Large Hadron Collider sind auf die Echtzeit-Ereignisfilterung (Triggern) unter strengen Beschränkungen hinsichtlich Bandbreite, Latenz und Speicher angewiesen. In der Praxis sind Trigger-Menüs weitgehend statisch und manuell abgestimmt, können jedoch suboptimal werden, wenn Detektorbedingungen, Pile-up und die Zusammensetzung des Untergrunds im Laufe der Zeit driften. Wir formulieren die Online-Abstimmung von Schwellenwerten als ein Problem der sequenziellen Entscheidungsfindung: Ein Verstärkungslern-Agent nimmt Streaming-Zusammenfassungen aktueller Raten und signalrelevanter Merkmale auf und passt die Trigger-Schwellenwerte an, um die Signal-Effizienz zu maximieren, während eine Ziel-Untergrundrate innerhalb eines Toleranzbands eingehalten wird. Wir passen die Group-Filtered Policy Optimization (GFPO) an die Streaming-Steuerung an und führen zwei Varianten (GFPO-F, GFPO-FR) ein, die die Zulässigkeit der Untergrundrate während des Trainings erzwingen. Anhand eines Benchmarks, der den realistischen Beschleunigerbetrieb emuliert, untersuchen wir zwei repräsentative Trigger: einen Trigger für die gesamte transversale Energie (H_{T}), der empfindlich auf Pile-up-Variationen ist, und einen Anomalieerkennungs- (AD) Trigger, der auf dem Rekonstruktionsverlust für seltene oder nicht standardmäßige Signaturen basiert. Auf Monte-Carlo-Strömen erhöht unser Agent den Anteil der in-Toleranz-Zeitintervalle um 48 % (H_T) bzw. 28 % (AD), mit einem kumulativen Gewinn von bis zu 2 % in der Signal-Effizienz in diesen in-Toleranz-Intervallen. Bei der Übertragung von Simulation auf reale Kollisionsdaten (CMS Run 283408) erzielt derselbe Agent ohne Feinabstimmung eine Verbesserung der in-Toleranz-Zeit um 56 % (H_T) bzw. 28 % (AD) gegenüber den Baselines, mit einem weiteren Gewinn an Signal-Effizienz bei beiden Triggern. Unseres Wissens ist dies die erste Demonstration einer RL-basierten Triggersteuerung auf echten Large-Hadron-Collider-Kollisionsdaten. Der Code ist unter https://github.com/Zixind/GFPO_LHC verfügbar (Details im Repository).

English

High-throughput scientific facilities such as the Large Hadron Collider depend on real-time event filtering (triggering) under tight constraints on bandwidth, latency, and storage. In practice, trigger menus are largely static and hand-tuned and can become suboptimal as detector conditions, pileup, and background composition drift over time. We cast online threshold tuning as a sequential decision-making problem: a reinforcement learning agent ingests streaming summaries of recent rates and signal-sensitive features and updates trigger thresholds to maximize signal efficiency while tracking a target background rate within a tolerance band. We adapt Group-Filtered Policy Optimization (GFPO) to streaming control and introduce two variants (GFPO-F, GFPO-FR) that enforce background rate feasibility during training. On a benchmark that emulates realistic collider operation, we study two representative triggers: a total transverse energy (H_{T}) trigger sensitive to pileup variation, and an anomaly-detection (AD) trigger based on reconstruction loss for rare or non-standard signatures. On Monte Carlo streams, our agent increases the fraction of in-tolerance time intervals by 48\% (H_T) and 28\% (AD), with a cumulative gain of up to 2\% in signal efficiency on those in-tolerance intervals. Transferring from simulation to real collision data (CMS Run 283408), the same agent, without fine-tuning, achieves a 56\% (H_T) and 28\% (AD) in-tolerance improvement over baselines, with further signal-efficiency gain on both triggers. To our knowledge, this is the first demonstration of RL-based trigger control on real Large Hadron Collider collision data. Code is available at https://github.com/Zixind/GFPO_LHC (see repo for details).