Dynamische Latente Routering

Samenvatting

We onderzoeken de temporele concatenatie van sub-beleidsregels in Markov-beslissingsprocessen (MDP) met tijdsvariërende beloningsfuncties. We introduceren General Dijkstra Search (GDS) en bewijzen dat globaal optimale doelbereikende beleidsregels kunnen worden hersteld door temporele compositie van tussentijdse optimale sub-beleidsregels. Gemotiveerd door het 'search, select, update'-principe dat ten grondslag ligt aan GDS, stellen we Dynamic Latent Routing (DLR) voor, een post-training methode voor taalmodellen die gezamenlijk discrete latente codes, routeringsbeleidsregels en modelparameters leert via dynamisch zoeken in een enkele trainingsfase. In omgevingen met weinig data voor fine-tuning evenaart of overtreft DLR de gesuperviseerde fine-tuning op vier datasets en zes modellen, met een gemiddelde winst van +6,6 procentpunt, terwijl eerdere discrete-latente baselines consequent onderpresteren ten opzichte van SFT. Mechanistische analyses en gerichte code-ablaties tonen aan dat DLR gestructureerde routeringsgedragingen leert met duidelijke causale rollen.

English

We investigate the temporal concatenation of sub-policies in Markov Decision Processes (MDP) with time-varying reward functions. We introduce General Dijkstra Search (GDS), and prove that globally optimal goal-reaching policies can be recovered through temporal composition of intermediate optimal sub-policies. Motivated by the "search, select, update" principle underlying GDS, we propose Dynamic Latent Routing (DLR), a language-model post-training method that jointly learns discrete latent codes, routing policies, and model parameters through dynamic search in a single training stage. In low-data fine-tuning settings, DLR matches or outperforms supervised fine-tuning across four datasets and six models, achieving a mean gain of +6.6 percentage points, while prior discrete-latent baselines consistently underperform SFT. Mechanistic analyses and targeted code ablations show that DLR learns structured routing behaviors with distinct causal roles.