Nash a Guadagno Ridotto: Contrazione Certificata verso Equilibri di Nash in Giochi Differenziabili
Small-Gain Nash: Certified Contraction to Nash Equilibria in Differentiable Games
December 7, 2025
Autori: Vedansh Sharma
cs.AI
Abstract
Le garanzie classiche di convergenza per l'apprendimento basato sul gradiente nei giochi richiedono che lo pseudo-gradiente sia (fortemente) monotono nella geometria euclidea, come dimostrato da Rosen (1965), una condizione che spesso fallisce anche in giochi semplici con forti accoppiamenti tra giocatori. Introduciamo Small-Gain Nash (SGN), una condizione di piccolo guadagno a blocchi in una geometria personalizzata con pesi a blocchi. SGN converte limiti locali di curvatura e di accoppiamento Lipschitz tra giocatori in un certificato trattabile di contrazione. Essa costruisce una metrica a blocchi pesata in cui lo pseudo-gradiente diventa fortemente monotono in qualsiasi regione dove questi limiti valgono, anche quando è non monotono in senso euclideo. Il flusso continuo è esponenzialmente contraente in questa geometria progettata, e le discretizzazioni di Eulero proiettato e RK4 convergono sotto limiti espliciti di passo derivati dal margine SGN e da una costante di Lipschitz locale. La nostra analisi rivale una "banda di scala temporale certificata", un certificato non asintotico e basato sulla metrica che svolge un ruolo simile a TTUR: piuttosto che forzare una separazione asintotica delle scale temporali tramite passi di apprendimento infinitesimi e disuguali, SGN identifica una banda finita di pesi metrici relativi per cui una dinamica a passo singolo è provatamente contrattiva. Validiamo il framework su giochi quadratici dove l'analisi di monotonicità euclidea fallisce nel predire la convergenza, ma SGN la certifica con successo, ed estendiamo la costruzione alle geometrie mirror/Fisher per il gradiente della politica regolarizzato con entropia nei giochi di Markov. Il risultato è una pipeline di certificazione offline che stima i parametri di curvatura, accoppiamento e Lipschitz su regioni compatte, ottimizza i pesi dei blocchi per ampliare il margine SGN e restituisce un certificato di convergenza strutturale e calcolabile, consistente in una metrica, un tasso di contrazione e dimensioni di passo sicure per giochi non monotoni.
English
Classical convergence guarantees for gradient-based learning in games require the pseudo-gradient to be (strongly) monotone in Euclidean geometry as shown by rosen(1965), a condition that often fails even in simple games with strong cross-player couplings. We introduce Small-Gain Nash (SGN), a block small-gain condition in a custom block-weighted geometry. SGN converts local curvature and cross-player Lipschitz coupling bounds into a tractable certificate of contraction. It constructs a weighted block metric in which the pseudo-gradient becomes strongly monotone on any region where these bounds hold, even when it is non-monotone in the Euclidean sense. The continuous flow is exponentially contracting in this designed geometry, and projected Euler and RK4 discretizations converge under explicit step-size bounds derived from the SGN margin and a local Lipschitz constant. Our analysis reveals a certified ``timescale band'', a non-asymptotic, metric-based certificate that plays a TTUR-like role: rather than forcing asymptotic timescale separation via vanishing, unequal step sizes, SGN identifies a finite band of relative metric weights for which a single-step-size dynamics is provably contractive. We validate the framework on quadratic games where Euclidean monotonicity analysis fails to predict convergence, but SGN successfully certifies it, and extend the construction to mirror/Fisher geometries for entropy-regularized policy gradient in Markov games. The result is an offline certification pipeline that estimates curvature, coupling, and Lipschitz parameters on compact regions, optimizes block weights to enlarge the SGN margin, and returns a structural, computable convergence certificate consisting of a metric, contraction rate, and safe step-sizes for non-monotone games.