Uma Cota Superior de Forma Fechada para Passos de Taxa de Aprendizado Admissíveis na Dinâmica do Espaço de Crenças

Resumo

Os passos da taxa de aprendizado são geralmente tratados como hiperparâmetros. Este artigo isola um cálculo local de espaço de crença: quando uma atualização é modelada como um passo projetado para frente no simplex de probabilidade, a admissibilidade significa contratividade na geometria natural de KL/Bregman. Sob esse modelo, o limite superior de um passo admissível não é um slogan de ajuste, mas uma fórmula.

English

Learning-rate steps are usually treated as hyperparameters. This paper isolates a local beliefspace calculation: when an update is modeled as a projected forward step on the probability simplex, admissibility means contractivity in the natural KL/Bregman geometry. Under this model, the upper bound of an admissible step is not a tuning slogan but a formula.