自己改変エージェントにおける効用学習の緊張関係

要旨

システムが超知能に向かうにつれ、自然なモデリングの前提として、エージェントは自身の設計のあらゆる側面において自己改善を行うことができる。これを5軸分解と意思決定層によって形式化し、インセンティブを学習行動から分離し、各軸を個別に分析する。我々の中心的な結果は、効用と学習の間に生じる鋭い緊張関係、すなわち自己修正システムにおける構造的衝突を特定し、導入するものである。この衝突は、即時または期待される性能を向上させる効用駆動の変更が、信頼性のある学習と汎化のための統計的前提条件を損なう可能性があるというものである。我々の研究結果は、分布非依存の保証が維持されるのは、ポリシー到達可能なモデル族が一様に容量制限されている場合に限られることを示している。容量が無制限に増加できる場合、効用合理的な自己変更は学習可能なタスクを学習不可能にすることがある。実践で一般的な標準的な仮定の下では、これらの軸は同じ容量基準に還元され、安全な自己修正のための単一の境界が得られる。複数の軸にわたる数値実験は、破壊的な効用ポリシーと、我々が提案した学習可能性を維持する二重ゲートポリシーを比較することで、理論を検証する。

English

As systems trend toward superintelligence, a natural modeling premise is that agents can self-improve along every facet of their own design. We formalize this with a five-axis decomposition and a decision layer, separating incentives from learning behavior and analyzing axes in isolation. Our central result identifies and introduces a sharp utility--learning tension, the structural conflict in self-modifying systems whereby utility-driven changes that improve immediate or expected performance can also erode the statistical preconditions for reliable learning and generalization. Our findings show that distribution-free guarantees are preserved iff the policy-reachable model family is uniformly capacity-bounded; when capacity can grow without limit, utility-rational self-changes can render learnable tasks unlearnable. Under standard assumptions common in practice, these axes reduce to the same capacity criterion, yielding a single boundary for safe self-modification. Numerical experiments across several axes validate the theory by comparing destructive utility policies against our proposed two-gate policies that preserve learnability.

自己改変エージェントにおける効用学習の緊張関係

Utility-Learning Tension in Self-Modifying Agents

要旨

Support