Een gesloten-vorm bovengrens voor toelaatbare leersnelheidsstappen in geloofsruimtedynamica

Samenvatting

Leersnelheidsstappen worden meestal als hyperparameters behandeld. Dit artikel isoleert een lokale berekening van de geloofsruimte: wanneer een update wordt gemodelleerd als een geprojecteerde voorwaartse stap op de waarschijnlijkheidssimplex, betekent toelaatbaarheid contractiviteit in de natuurlijke KL/Bregman-geometrie. Onder dit model is de bovengrens van een toelaatbare stap geen afstemmingsslogan, maar een formule.

English

Learning-rate steps are usually treated as hyperparameters. This paper isolates a local beliefspace calculation: when an update is modeled as a projected forward step on the probability simplex, admissibility means contractivity in the natural KL/Bregman geometry. Under this model, the upper bound of an admissible step is not a tuning slogan but a formula.