LSRIF: 지시 따르기를 위한 논리 구조 강화 학습

초록

대규모 언어 모델에서 지시문 따르기는 핵심적이지만, 실제 지시문에는 순차적 의존성과 조건 분기 같은 논리적 구조가 흔히 포함됩니다. 기존 방법들은 일반적으로 병렬 제약 조건이 있는 데이터셋을 구성하고 평균 보상을 최적화하여 논리적 의존성을 무시하고 노이즈가 많은 신호를 생성합니다. 우리는 지시문의 논리를 명시적으로 모델링하는 논리 구조화 훈련 프레임워크 LSRIF를 제안합니다. 먼저 병렬, 순차, 조건 유형 같은 제약 구조를 가진 LSRInstruct 데이터셋을 구축하고, 병렬 구조에는 평균 집계, 순차 구조에는 실패-패널티 전파, 조건 분기에는 선택적 보상을 포함하는 구조 인식 보상 방법 LSRIF를 설계합니다. 실험 결과 LSRIF는 지시문 따르기(도메인 내 및 도메인 외)와 일반 추론에서 상당한 향상을 가져옵니다. 분석 결과, 명시적 논리 구조를 통한 학습은 어텐션 레이어의 매개변수 업데이트를 유발하고 제약 조건 및 논리 연산자에 대한 토큰 수준 어텐션을 선명하게 만드는 것으로 나타났습니다.

English

Instruction-following is critical for large language models, but real-world instructions often contain logical structures such as sequential dependencies and conditional branching. Existing methods typically construct datasets with parallel constraints and optimize average rewards, ignoring logical dependencies and yielding noisy signals. We propose a logic-structured training framework LSRIF that explicitly models instruction logic. We first construct a dataset LSRInstruct with constraint structures such as parallel, sequential, and conditional types, and then design structure-aware rewarding method LSRIF including average aggregation for parallel structures, failure-penalty propagation for sequential structures, and selective rewards for conditional branches. Experiments show LSRIF brings significant improvements in instruction-following (in-domain and out-of-domain) and general reasoning. Analysis reveals that learning with explicit logic structures brings parameter updates in attention layers and sharpens token-level attention to constraints and logical operators.

LSRIF: 지시 따르기를 위한 논리 구조 강화 학습

LSRIF: Logic-Structured Reinforcement Learning for Instruction Following

초록

Support