メカニズム解釈における未解決の問題

Open Problems in Mechanistic Interpretability

January 27, 2025

著者: Lee Sharkey, Bilal Chughtai, Joshua Batson, Jack Lindsey, Jeff Wu, Lucius Bushnaq, Nicholas Goldowsky-Dill, Stefan Heimersheim, Alejandro Ortega, Joseph Bloom, Stella Biderman, Adria Garriga-Alonso, Arthur Conmy, Neel Nanda, Jessica Rumbelow, Martin Wattenberg, Nandi Schoots, Joseph Miller, Eric J. Michaud, Stephen Casper, Max Tegmark, William Saunders, David Bau, Eric Todd, Atticus Geiger, Mor Geva, Jesse Hoogland, Daniel Murfet, Tom McGrath

cs.AI

要旨

機械的解釈可能性は、具体的な科学的および工学的目標を達成するために、ニューラルネットワークの能力の基盤となる計算メカニズムを理解することを目指しています。この分野の進歩は、AIシステムの振る舞いに対するより大きな保証を提供し、知性の本質に関する興味深い科学的問いに光を当てることを約束します。これらの目標に向けた最近の進展にもかかわらず、多くの科学的および実用的利点を実現するためには、解決すべき多くの未解決の問題があります。私たちの方法には、より深い洞察を明らかにするために概念的および実践的な改善が必要です。具体的な目標の追求において最善の方法を見つける必要があり、この分野は私たちの仕事に影響を与え、また影響を受ける社会技術的な課題に取り組まなければなりません。この先を見据えたレビューでは、機械的解釈可能性の現在の最前線と、この分野が優先すべき未解決の問題について議論します。

English

Mechanistic interpretability aims to understand the computational mechanisms underlying neural networks' capabilities in order to accomplish concrete scientific and engineering goals. Progress in this field thus promises to provide greater assurance over AI system behavior and shed light on exciting scientific questions about the nature of intelligence. Despite recent progress toward these goals, there are many open problems in the field that require solutions before many scientific and practical benefits can be realized: Our methods require both conceptual and practical improvements to reveal deeper insights; we must figure out how best to apply our methods in pursuit of specific goals; and the field must grapple with socio-technical challenges that influence and are influenced by our work. This forward-facing review discusses the current frontier of mechanistic interpretability and the open problems that the field may benefit from prioritizing.