Small-Gain Nash: Zertifizierte Kontraktion zu Nash-Gleichgewichten in differenzierbaren Spielen
Small-Gain Nash: Certified Contraction to Nash Equilibria in Differentiable Games
December 7, 2025
papers.authors: Vedansh Sharma
cs.AI
papers.abstract
Klassische Konvergenzgarantien für gradientenbasierte Lernverfahren in Spielen erfordern, dass der Pseudogradient in der euklidischen Geometrie (stark) monoton ist, wie von Rosen (1965) gezeigt wurde – eine Bedingung, die selbst in einfachen Spielen mit starken spielerübergreifenden Kopplungen oft verletzt ist. Wir führen Small-Gain Nash (SGN) ein, eine Block-Kleingain-Bedingung in einer benutzerdefinierten blockgewichteten Geometrie. SGN wandelt lokale Krümmungs- und spielerübergreifende Lipschitz-Kopplungsschranken in ein handhabbares Kontraktionszertifikat um. Es konstruiert eine gewichtete Blockmetrik, in der der Pseudogradient in jeder Region, in der diese Schranken gelten, stark monoton wird, selbst wenn er im euklidischen Sinne nicht-monoton ist. Der kontinuierliche Fluss ist in dieser konstruierten Geometrie exponentiell kontrahierend, und projizierte Euler- und RK4-Diskretisierungen konvergieren unter expliziten Schrittweitenbeschränkungen, die aus der SGN-Marge und einer lokalen Lipschitz-Konstante abgeleitet werden. Unsere Analyse offenbart ein zertifiziertes "Zeitskalenband", ein nicht-asymptotisches, metrikbasiertes Zertifikat, das eine TTUR-ähnliche Rolle spielt: Anstatt eine asymptotische Zeitskalentrennung durch verschwindende, ungleiche Schrittweiten zu erzwingen, identifiziert SGN ein endliches Band relativer Metrikgewichte, für das eine Dynamik mit einheitlicher Schrittweite nachweislich kontraktiv ist. Wir validieren den Rahmen anhand quadratischer Spiele, bei denen die euklidische Monotonieanalyse die Konvergenz nicht vorhersagen kann, SGN sie jedoch erfolgreich zertifiziert, und erweitern die Konstruktion auf Mirror-/Fisher-Geometrien für entropie-regularisierte Policy-Gradienten in Markov-Spielen. Das Ergebnis ist eine Offline-Zertifizierungspipeline, die Krümmungs-, Kopplungs- und Lipschitz-Parameter in kompakten Regionen schätzt, Blockgewichte optimiert, um die SGN-Marge zu vergrößern, und ein strukturelles, berechenbares Konvergenzzertifikat zurückgibt, das aus einer Metrik, einer Kontraktionsrate und sicheren Schrittweiten für nicht-monotone Spiele besteht.
English
Classical convergence guarantees for gradient-based learning in games require the pseudo-gradient to be (strongly) monotone in Euclidean geometry as shown by rosen(1965), a condition that often fails even in simple games with strong cross-player couplings. We introduce Small-Gain Nash (SGN), a block small-gain condition in a custom block-weighted geometry. SGN converts local curvature and cross-player Lipschitz coupling bounds into a tractable certificate of contraction. It constructs a weighted block metric in which the pseudo-gradient becomes strongly monotone on any region where these bounds hold, even when it is non-monotone in the Euclidean sense. The continuous flow is exponentially contracting in this designed geometry, and projected Euler and RK4 discretizations converge under explicit step-size bounds derived from the SGN margin and a local Lipschitz constant. Our analysis reveals a certified ``timescale band'', a non-asymptotic, metric-based certificate that plays a TTUR-like role: rather than forcing asymptotic timescale separation via vanishing, unequal step sizes, SGN identifies a finite band of relative metric weights for which a single-step-size dynamics is provably contractive. We validate the framework on quadratic games where Euclidean monotonicity analysis fails to predict convergence, but SGN successfully certifies it, and extend the construction to mirror/Fisher geometries for entropy-regularized policy gradient in Markov games. The result is an offline certification pipeline that estimates curvature, coupling, and Lipschitz parameters on compact regions, optimizes block weights to enlarge the SGN margin, and returns a structural, computable convergence certificate consisting of a metric, contraction rate, and safe step-sizes for non-monotone games.