LSRIF: Aprendizagem por Reforço com Estrutura Lógica para Seguimento de Instruções
LSRIF: Logic-Structured Reinforcement Learning for Instruction Following
January 10, 2026
Autores: Qingyu Ren, Qianyu He, Jingwen Chang, Jie Zeng, Jiaqing Liang, Yanghua Xiao, Han Xia, Zeye Sun, Fei Yu
cs.AI
Resumo
A capacidade de seguir instruções é crucial para os grandes modelos de linguagem, mas as instruções do mundo real frequentemente contêm estruturas lógicas, como dependências sequenciais e ramificações condicionais. Os métodos existentes geralmente constroem conjuntos de dados com restrições paralelas e otimizam recompensas médias, ignorando dependências lógicas e produzindo sinais ruidosos. Propomos um framework de treinamento de estrutura lógica, o LSRIF, que modela explicitamente a lógica das instruções. Primeiro, construímos um conjunto de dados, o LSRInstruct, com estruturas de restrição como tipos paralelos, sequenciais e condicionais. Em seguida, projetamos um método de recompensa com consciência estrutural, o LSRIF, que inclui agregação média para estruturas paralelas, propagação de penalidade por falha para estruturas sequenciais e recompensas seletivas para ramificações condicionais. Experimentos mostram que o LSRIF traz melhorias significativas no seguimento de instruções (dentro e fora do domínio) e no raciocínio geral. Análises revelam que aprender com estruturas lógicas explícitas traz atualizações de parâmetros nas camadas de atenção e aguça a atenção em nível de token para restrições e operadores lógicos.
English
Instruction-following is critical for large language models, but real-world instructions often contain logical structures such as sequential dependencies and conditional branching. Existing methods typically construct datasets with parallel constraints and optimize average rewards, ignoring logical dependencies and yielding noisy signals. We propose a logic-structured training framework LSRIF that explicitly models instruction logic. We first construct a dataset LSRInstruct with constraint structures such as parallel, sequential, and conditional types, and then design structure-aware rewarding method LSRIF including average aggregation for parallel structures, failure-penalty propagation for sequential structures, and selective rewards for conditional branches. Experiments show LSRIF brings significant improvements in instruction-following (in-domain and out-of-domain) and general reasoning. Analysis reveals that learning with explicit logic structures brings parameter updates in attention layers and sharpens token-level attention to constraints and logical operators.