Напряжение между полезностью и обучением в самоизменяющихся агентах

Utility-Learning Tension in Self-Modifying Agents

October 5, 2025

Авторы: Charles L. Wang, Keir Dorchen, Peter Jin

cs.AI

Аннотация

По мере того как системы стремятся к сверхинтеллекту, естественной предпосылкой для моделирования является то, что агенты могут самосовершенствоваться во всех аспектах своей собственной конструкции. Мы формализуем это с помощью пятиосевой декомпозиции и слоя принятия решений, разделяя стимулы от поведения обучения и анализируя оси изолированно. Наш ключевой результат выявляет и вводит острое противоречие между полезностью и обучением — структурный конфликт в самомодифицирующихся системах, при котором изменения, направленные на повышение полезности и улучшение текущей или ожидаемой производительности, могут также разрушать статистические предпосылки для надежного обучения и обобщения. Наши результаты показывают, что гарантии, не зависящие от распределения, сохраняются тогда и только тогда, когда семейство моделей, достижимых политикой, равномерно ограничено по емкости; когда емкость может расти без ограничений, рациональные с точки зрения полезности самопреобразования могут сделать обучаемые задачи необучаемыми. При стандартных предположениях, распространенных на практике, эти оси сводятся к одному критерию емкости, что дает единую границу для безопасной самомодификации. Численные эксперименты по нескольким осям подтверждают теорию, сравнивая разрушительные политики полезности с предложенными нами двухэтапными политиками, которые сохраняют обучаемость.

English

As systems trend toward superintelligence, a natural modeling premise is that agents can self-improve along every facet of their own design. We formalize this with a five-axis decomposition and a decision layer, separating incentives from learning behavior and analyzing axes in isolation. Our central result identifies and introduces a sharp utility--learning tension, the structural conflict in self-modifying systems whereby utility-driven changes that improve immediate or expected performance can also erode the statistical preconditions for reliable learning and generalization. Our findings show that distribution-free guarantees are preserved iff the policy-reachable model family is uniformly capacity-bounded; when capacity can grow without limit, utility-rational self-changes can render learnable tasks unlearnable. Under standard assumptions common in practice, these axes reduce to the same capacity criterion, yielding a single boundary for safe self-modification. Numerical experiments across several axes validate the theory by comparing destructive utility policies against our proposed two-gate policies that preserve learnability.