Une borne supérieure en forme close pour les pas de taux d'apprentissage admissibles dans la dynamique des espaces de croyance

Résumé

Les taux d'apprentissage sont généralement considérés comme des hyperparamètres. Cet article isole un calcul local dans l'espace des croyances : lorsqu'une mise à jour est modélisée comme un pas projeté vers l'avant sur le simplexe de probabilité, l'admissibilité correspond à la contractivité dans la géométrie naturelle de Kullback-Leibler/Bregman. Selon ce modèle, la borne supérieure d'un pas admissible n'est pas un slogan d'ajustement mais une formule.

English

Learning-rate steps are usually treated as hyperparameters. This paper isolates a local beliefspace calculation: when an update is modeled as a projected forward step on the probability simplex, admissibility means contractivity in the natural KL/Bregman geometry. Under this model, the upper bound of an admissible step is not a tuning slogan but a formula.