Reinforcement Learning verbessert die Navigation in hierarchischem Wissen von LLMs

Reinforcement Learning Improves Traversal of Hierarchical Knowledge in LLMs

November 8, 2025

papers.authors: Renfei Zhang, Manasa Kaniselvan, Niloofar Mireshghallah

cs.AI

papers.abstract

Reinforcement Learning (RL) wird oft zugeschrieben, die Fähigkeiten von Sprachmodellen zum Schlussfolgern und zur Generalisierung zu verbessern, auf Kosten einer Verschlechterung des memorierten Wissens. Wir stellen diese Darstellung infrage, indem wir beobachten, dass RL-optimierte Modelle durchweg ihre Basis- und supervised-fine-tuning (SFT)-Pendants bei reinen Wissensabrufaufgaben übertreffen, insbesondere bei solchen, die das Durchqueren von hierarchischem, strukturiertem Wissen erfordern (z.B. medizinische Codes). Wir stellen die Hypothese auf, dass diese Gewinne nicht auf neu erworbenen Daten beruhen, sondern auf verbesserten prozeduralen Fähigkeiten, bestehende Wissenshierarchien innerhalb der Modellparameter zu navigieren und darin zu suchen. Um diese Hypothese zu stützen, zeigen wir, dass strukturiertes Prompting, das SFT-Modelle explizit durch hierarchisches Durchqueren führt, den größten Teil der Leistungslücke wiederherstellt (Reduktion von 24 Prozentpunkten auf 7 Prozentpunkte auf MedConceptsQA für DeepSeek-V3/R1). Wir stellen weiter fest, dass, obwohl Prompting die Endantwort-Genauigkeit verbessert, RL-optimierte Modelle eine überlegene Fähigkeit behalten, korrekte prozedurale Pfade bei Tiefenabrufaufgaben abzurufen. Schließlich zeigt unsere schichtenweise Analyse interner Aktivierungen, dass während faktische Repräsentationen (z.B. Aktivierungen für die Aussage "Code 57.95 bezieht sich auf Harnwegsinfektion") eine hohe Kosinusähnlichkeit zwischen SFT- und RL-Modellen aufweisen, sich Abfragerepräsentationen (z.B. "Was ist Code 57.95") merklich unterscheiden. Dies deutet darauf hin, dass RL primär verändert, wie Modelle Wissen durchqueren, und nicht die Wissensrepräsentation selbst.

English

Reinforcement learning (RL) is often credited with improving language model reasoning and generalization at the expense of degrading memorized knowledge. We challenge this narrative by observing that RL-enhanced models consistently outperform their base and supervised fine-tuned (SFT) counterparts on pure knowledge recall tasks, particularly those requiring traversal of hierarchical, structured knowledge (e.g., medical codes). We hypothesize these gains stem not from newly acquired data, but from improved procedural skills in navigating and searching existing knowledge hierarchies within the model parameters. To support this hypothesis, we show that structured prompting, which explicitly guides SFTed models through hierarchical traversal, recovers most of the performance gap (reducing 24pp to 7pp on MedConceptsQA for DeepSeek-V3/R1). We further find that while prompting improves final-answer accuracy, RL-enhanced models retain superior ability to recall correct procedural paths on deep-retrieval tasks. Finally our layer-wise internal activation analysis reveals that while factual representations (e.g., activations for the statement "code 57.95 refers to urinary infection") maintain high cosine similarity between SFT and RL models, query representations (e.g., "what is code 57.95") diverge noticeably, indicating that RL primarily transforms how models traverse knowledge rather than the knowledge representation itself.