LSRIF: Logisch Gestructureerd Reinforcement Learning voor Instructievolging

LSRIF: Logic-Structured Reinforcement Learning for Instruction Following

January 10, 2026

Auteurs: Qingyu Ren, Qianyu He, Jingwen Chang, Jie Zeng, Jiaqing Liang, Yanghua Xiao, Han Xia, Zeye Sun, Fei Yu

cs.AI

Samenvatting

Het correct opvolgen van instructies is cruciaal voor grote taalmodel(len), maar instructies in de praktijk bevatten vaak logische structuren zoals sequentiële afhankelijkheden en conditionele vertakkingen. Bestaande methoden construeren doorgaans datasets met parallelle beperkingen en optimaliseren gemiddelde beloningen, waarbij logische afhankelijkheden worden genegeerd en dit leidt tot ruis in de signaalverwerking. Wij stellen een logisch gestructureerd trainingsraamwerk voor, LSRIF, dat de logica van instructies expliciet modelleert. Eerst construeren we een dataset, LSRInstruct, met beperkingsstructuren zoals parallelle, sequentiële en conditionele typen. Vervolgens ontwerpen we een structuurbewuste beloningsmethode, LSRIF, die gemiddelde aggregatie voor parallelle structuren, fout-strafpropagatie voor sequentiële structuren en selectieve beloningen voor conditionele vertakkingen omvat. Experimenten tonen aan dat LSRIF significante verbeteringen oplevert in het opvolgen van instructies (binnen en buiten het domein) en in algemeen redeneren. Analyse toont aan dat leren met expliciete logische structuren parameterupdates in aandachtslagen teweegbrengt en de aandacht op tokenniveau voor beperkingen en logische operatoren verscherpt.

English

Instruction-following is critical for large language models, but real-world instructions often contain logical structures such as sequential dependencies and conditional branching. Existing methods typically construct datasets with parallel constraints and optimize average rewards, ignoring logical dependencies and yielding noisy signals. We propose a logic-structured training framework LSRIF that explicitly models instruction logic. We first construct a dataset LSRInstruct with constraint structures such as parallel, sequential, and conditional types, and then design structure-aware rewarding method LSRIF including average aggregation for parallel structures, failure-penalty propagation for sequential structures, and selective rewards for conditional branches. Experiments show LSRIF brings significant improvements in instruction-following (in-domain and out-of-domain) and general reasoning. Analysis reveals that learning with explicit logic structures brings parameter updates in attention layers and sharpens token-level attention to constraints and logical operators.