소형 이득 내시: 미분 가능 게임에서 내시 균형으로의 검증된 수축

Small-Gain Nash: Certified Contraction to Nash Equilibria in Differentiable Games

December 7, 2025

저자: Vedansh Sharma

cs.AI

초록

경사도 기반 게임 학습에 대한 기존 수렴 보장 조건은 Rosen(1965)이 보여준 바와 같이 유사 경사도(pseudo-gradient)가 유클리드 기하에서 (강) 단조(monotone)해야 하지만, 이 조건은 강한 상호 플레이어 결합(cross-player coupling)이 존재하는 단순 게임에서도 종종 위반됩니다. 본 연구에서는 사용자 정의 블록 가중치 기하(block-weighted geometry)에서의 블록 소게인(block small-gain) 조건인 SGN(Small-Gain Nash)을 소개합니다. SGN은 국소 곡률(local curvature)과 상호 플레이어 립시츠 결합(cross-player Lipschitz coupling) 경계를 수렴성(contraction)의 검증 가능한 증명서(tractable certificate)로 변환합니다. 이는 유클리드 의미에서 비단조(non-monotone)일지라도, 해당 경계가 유지되는 임의의 영역에서 유사 경사도가 강한 단조성을 갖도록 하는 가중 블록 계량(weighted block metric)을 구성합니다. 연속 흐름(continuous flow)은 이렇게 설계된 기하에서 지수적으로 수렴하며, SGN 마진(margin)과 국소 립시츠 상수로부터 유도된 명시적 단계 크기(step-size) 범위 내에서 투영 오일러(projected Euler) 및 RK4 이산화(discretization)가 수렴합니다. 우리의 분석은 인증된 "시간尺度 대역(certified timescale band)"을 보여주는데, 이는 점근적이지 않은(non-asymptotic) 계량 기반 증명서로 TTUR과 유사한 역할을 합니다: 즉, 사라지고 서로 다른 단계 크기를 통해 점근적 시간尺度 분리(asymptotic timescale separation)를 강제하는 대신, SGN은 단일 단계 크기(single-step-size) 역학이 검증 가능하게 수렴하는 상대적 계량 가중치의 유한 대역을 식별합니다. 우리는 유클리드 단조성 분석이 수렴을 예측하지 못하는 2차 게임(quadratic games)에서 본 프레임워크를 검증하고(SGN은 성공적으로 수렴을 증명함), 마르코프 게임(Markov games)의 엔트로피 정규화 정책 경사도(entropy-regularized policy gradient)를 위한 미러/피셔 기하(mirror/Fisher geometries)로 구성을 확장합니다. 그 결과는 컴팩트 영역(compact regions)에서 곡률, 결합, 립시츠 매개변수를 추정하고, SGN 마진을 확대하기 위해 블록 가중치를 최적화하며, 비단조 게임(non-monotone games)에 대한 계량(metric), 수렴율(contraction rate), 안전한 단계 크기(safe step-sizes)로 구성된 구조적이고 계산 가능한 수렴 증명서(structural, computable convergence certificate)를 반환하는 오프라인 검증 파이프라인(offline certification pipeline)입니다.

English

Classical convergence guarantees for gradient-based learning in games require the pseudo-gradient to be (strongly) monotone in Euclidean geometry as shown by rosen(1965), a condition that often fails even in simple games with strong cross-player couplings. We introduce Small-Gain Nash (SGN), a block small-gain condition in a custom block-weighted geometry. SGN converts local curvature and cross-player Lipschitz coupling bounds into a tractable certificate of contraction. It constructs a weighted block metric in which the pseudo-gradient becomes strongly monotone on any region where these bounds hold, even when it is non-monotone in the Euclidean sense. The continuous flow is exponentially contracting in this designed geometry, and projected Euler and RK4 discretizations converge under explicit step-size bounds derived from the SGN margin and a local Lipschitz constant. Our analysis reveals a certified ``timescale band'', a non-asymptotic, metric-based certificate that plays a TTUR-like role: rather than forcing asymptotic timescale separation via vanishing, unequal step sizes, SGN identifies a finite band of relative metric weights for which a single-step-size dynamics is provably contractive. We validate the framework on quadratic games where Euclidean monotonicity analysis fails to predict convergence, but SGN successfully certifies it, and extend the construction to mirror/Fisher geometries for entropy-regularized policy gradient in Markov games. The result is an offline certification pipeline that estimates curvature, coupling, and Lipschitz parameters on compact regions, optimizes block weights to enlarge the SGN margin, and returns a structural, computable convergence certificate consisting of a metric, contraction rate, and safe step-sizes for non-monotone games.