「人気があればあるほど、忘れにくい：LLMアンラーニングのための適応的人気度」

要旨

一般的な事実は事前学習中により深く記憶され、稀な事実よりも長く削除に抵抗する一方で、既存のLLMアンラーニング手法は学習データの頻度に関係なく均一な勾配圧力を適用している。我々はAdaPop（Adaptive Popularity）法を提案する。本手法は、ローカルトークン信頼度と、外部プロキシ（例：Wikidataサイトリンク、LLM-as-Judge）から導出される事実ごとの人気度依存指数を組み合わせ、各エポックで保持ペナルティを調整する双対上昇コントローラによって忘却と保持のバランスを自動化する。3つのモデルファミリーと2つのベンチマークにおいて、AdaPopは言い換えクエリ下では競合手法より約5倍少ない忘却コンテンツの漏洩を示し、敵対的改変クエリ下では約1.6倍少ない漏洩を示した。さらに、内部指標による分析も行った。本手法では、忘却セットの隠れ状態が他の手法の場合よりもアンラーニング前モデルの状態から遠くへ移動する一方、保持セットの表現は近いまま維持される。

English

Popular facts are memorised more deeply during pretraining and resist removal longer than rare ones, yet existing LLM unlearning methods apply uniform gradient pressure regardless of training-data frequency. We propose the AdaPop (Adaptive Popularity) method, which combines local token confidence with a per-fact popularity-dependent exponent derived from an external proxy (e.g., Wikidata sitelinks, LLM-as-Judge), and automates the forget-retain balance via a dual-ascent controller that adjusts the retain penalty each epoch. Across three model families and two benchmarks, AdaPop leaks ~5x less forgotten content than competing methods under paraphrased queries and ~1.6x less under adversarial reformulations. We support our analysis with internal metrics: under our method, forget-set hidden states move further from the pre-unlearning model's states than under other methods, while retain-set representations remain close.