Kleine-Winst Nash: Gegarandeerde Contractie naar Nash-evenwichten in Differentieerbare Spelen

Small-Gain Nash: Certified Contraction to Nash Equilibria in Differentiable Games

December 7, 2025

Auteurs: Vedansh Sharma

cs.AI

Samenvatting

Klassieke convergentiegaranties voor op gradiënten gebaseerd leren in spelen vereisen dat de pseudogradiënt (sterk) monotoon is in de Euclidische geometrie, zoals aangetoond door Rosen (1965), een voorwaarde die vaak niet wordt gehaald, zelfs niet in eenvoudige spelen met sterke kruis-spelerkoppelingen. Wij introduceren Small-Gain Nash (SGN), een blok-kleine-winst voorwaarde in een aangepaste, blok-gewogen geometrie. SGN zet lokale kromming en Lipschitz-koppelingsgrenzen tussen spelers om in een hanteerbaar contractiecertificaat. Het construeert een geblokte, gewogen metriek waarin de pseudogradiënt sterk monotoon wordt op elk gebied waar deze grenzen gelden, zelfs wanneer deze niet-monotoon is in de Euclidische zin. De continue stroom is exponentieel contracterend in deze ontworpen geometrie, en geprojecteerde Euler- en RK4-discretisaties convergeren onder expliciete stapgroottegrenzen afgeleid van de SGN-marge en een lokale Lipschitz-constante. Onze analyse onthult een gecertificeerde "tijdschaalband", een niet-asymptotisch, metriek-gebaseerd certificaat dat een TTUR-achtige rol speelt: in plaats van asymptotische tijdschaalscheiding af te dwingen via verdwijnende, ongelijke stapgroottes, identificeert SGN een eindige band van relatieve metriekgewichten waarvoor een dynamiek met een enkele stapgrootte aantoonbaar contractief is. We valideren het raamwerk op kwadratische spelen waar Euclidische monotoniciteitsanalyse faalt om convergentie te voorspellen, maar SGN deze succesvol certificeert, en breiden de constructie uit naar spiegel-/Fisher-geometrieën voor entropie-geregulariseerd beleidsgradiënt in Markov-spelen. Het resultaat is een offline certificeringspijplijn die kromming, koppeling en Lipschitz-parameters schat op compacte gebieden, blokgewichten optimaliseert om de SGN-marge te vergroten, en een structureel, berekenbaar convergentiecertificaat retourneert bestaande uit een metriek, contractiesnelheid en veilige stapgroottes voor niet-monotone spelen.

English

Classical convergence guarantees for gradient-based learning in games require the pseudo-gradient to be (strongly) monotone in Euclidean geometry as shown by rosen(1965), a condition that often fails even in simple games with strong cross-player couplings. We introduce Small-Gain Nash (SGN), a block small-gain condition in a custom block-weighted geometry. SGN converts local curvature and cross-player Lipschitz coupling bounds into a tractable certificate of contraction. It constructs a weighted block metric in which the pseudo-gradient becomes strongly monotone on any region where these bounds hold, even when it is non-monotone in the Euclidean sense. The continuous flow is exponentially contracting in this designed geometry, and projected Euler and RK4 discretizations converge under explicit step-size bounds derived from the SGN margin and a local Lipschitz constant. Our analysis reveals a certified ``timescale band'', a non-asymptotic, metric-based certificate that plays a TTUR-like role: rather than forcing asymptotic timescale separation via vanishing, unequal step sizes, SGN identifies a finite band of relative metric weights for which a single-step-size dynamics is provably contractive. We validate the framework on quadratic games where Euclidean monotonicity analysis fails to predict convergence, but SGN successfully certifies it, and extend the construction to mirror/Fisher geometries for entropy-regularized policy gradient in Markov games. The result is an offline certification pipeline that estimates curvature, coupling, and Lipschitz parameters on compact regions, optimizes block weights to enlarge the SGN margin, and returns a structural, computable convergence certificate consisting of a metric, contraction rate, and safe step-sizes for non-monotone games.