Nash à Petit Gain : Certification de la Contraction vers les Équilibres de Nash dans les Jeux Différentiables

Small-Gain Nash: Certified Contraction to Nash Equilibria in Differentiable Games

December 7, 2025

papers.authors: Vedansh Sharma

cs.AI

papers.abstract

Les garanties de convergence classiques pour l'apprentissage par gradient dans les jeux nécessitent que le pseudo-gradient soit (fortement) monotone dans la géométrie euclidienne, comme l'a montré Rosen (1965), une condition qui échoue souvent même dans des jeux simples avec des couplages forts entre joueurs. Nous présentons Small-Gain Nash (SGN), une condition de petit gain par blocs dans une géométrie personnalisée à pondération par blocs. SGN transforme les bornes locales de courbure et de couplage Lipschitz entre joueurs en un certificat traitable de contraction. Elle construit une métrique par blocs pondérée dans laquelle le pseudo-gradient devient fortement monotone sur toute région où ces bornes sont valides, même lorsqu'il est non-monotone au sens euclidien. Le flot continu est exponentiellement contractant dans cette géométrie conçue, et les discrétisations par Euler projeté et RK4 convergent sous des bornes de pas explicites dérivées de la marge SGN et d'une constante de Lipschitz locale. Notre analyse révèle une « bande d'échelles de temps certifiée », un certificat non asymptotique et métrique qui joue un rôle similaire à TTUR : plutôt que de forcer une séparation asymptotique des échelles de temps via des pas de temps inégaux et s'annulant, SGN identifie une bande finie de poids métriques relatifs pour laquelle une dynamique à pas unique est prouvablement contractante. Nous validons le cadre sur des jeux quadratiques où l'analyse de monotonie euclidienne échoue à prédire la convergence, mais où SGN la certifie avec succès, et étendons la construction aux géométries miroir/Fisher pour le gradient de politique régularisé par l'entropie dans les jeux de Markov. Le résultat est un pipeline de certification hors ligne qui estime les paramètres de courbure, de couplage et de Lipschitz sur des régions compactes, optimise les poids des blocs pour agrandir la marge SGN, et retourne un certificat de convergence structurel et calculable consistant en une métrique, un taux de contraction et des pas de temps sûrs pour les jeux non-monotones.

English

Classical convergence guarantees for gradient-based learning in games require the pseudo-gradient to be (strongly) monotone in Euclidean geometry as shown by rosen(1965), a condition that often fails even in simple games with strong cross-player couplings. We introduce Small-Gain Nash (SGN), a block small-gain condition in a custom block-weighted geometry. SGN converts local curvature and cross-player Lipschitz coupling bounds into a tractable certificate of contraction. It constructs a weighted block metric in which the pseudo-gradient becomes strongly monotone on any region where these bounds hold, even when it is non-monotone in the Euclidean sense. The continuous flow is exponentially contracting in this designed geometry, and projected Euler and RK4 discretizations converge under explicit step-size bounds derived from the SGN margin and a local Lipschitz constant. Our analysis reveals a certified ``timescale band'', a non-asymptotic, metric-based certificate that plays a TTUR-like role: rather than forcing asymptotic timescale separation via vanishing, unequal step sizes, SGN identifies a finite band of relative metric weights for which a single-step-size dynamics is provably contractive. We validate the framework on quadratic games where Euclidean monotonicity analysis fails to predict convergence, but SGN successfully certifies it, and extend the construction to mirror/Fisher geometries for entropy-regularized policy gradient in Markov games. The result is an offline certification pipeline that estimates curvature, coupling, and Lipschitz parameters on compact regions, optimizes block weights to enlarge the SGN margin, and returns a structural, computable convergence certificate consisting of a metric, contraction rate, and safe step-sizes for non-monotone games.