Problemas em Aberto na Interpretabilidade Mecanicista

Open Problems in Mechanistic Interpretability

January 27, 2025

Autores: Lee Sharkey, Bilal Chughtai, Joshua Batson, Jack Lindsey, Jeff Wu, Lucius Bushnaq, Nicholas Goldowsky-Dill, Stefan Heimersheim, Alejandro Ortega, Joseph Bloom, Stella Biderman, Adria Garriga-Alonso, Arthur Conmy, Neel Nanda, Jessica Rumbelow, Martin Wattenberg, Nandi Schoots, Joseph Miller, Eric J. Michaud, Stephen Casper, Max Tegmark, William Saunders, David Bau, Eric Todd, Atticus Geiger, Mor Geva, Jesse Hoogland, Daniel Murfet, Tom McGrath

cs.AI

Resumo

A interpretabilidade mecanicista tem como objetivo compreender os mecanismos computacionais subjacentes às capacidades das redes neurais, a fim de alcançar objetivos científicos e de engenharia concretos. O progresso nesse campo promete proporcionar maior segurança sobre o comportamento de sistemas de IA e lançar luz sobre questões científicas empolgantes sobre a natureza da inteligência. Apesar do progresso recente em direção a esses objetivos, existem muitos problemas em aberto no campo que exigem soluções antes que muitos benefícios científicos e práticos possam ser realizados: Nossos métodos requerem melhorias conceituais e práticas para revelar insights mais profundos; devemos descobrir a melhor forma de aplicar nossos métodos em busca de objetivos específicos; e o campo deve lidar com desafios sociotécnicos que influenciam e são influenciados por nosso trabalho. Esta revisão prospectiva discute a fronteira atual da interpretabilidade mecanicista e os problemas em aberto dos quais o campo pode se beneficiar ao priorizar.

English

Mechanistic interpretability aims to understand the computational mechanisms underlying neural networks' capabilities in order to accomplish concrete scientific and engineering goals. Progress in this field thus promises to provide greater assurance over AI system behavior and shed light on exciting scientific questions about the nature of intelligence. Despite recent progress toward these goals, there are many open problems in the field that require solutions before many scientific and practical benefits can be realized: Our methods require both conceptual and practical improvements to reveal deeper insights; we must figure out how best to apply our methods in pursuit of specific goals; and the field must grapple with socio-technical challenges that influence and are influenced by our work. This forward-facing review discusses the current frontier of mechanistic interpretability and the open problems that the field may benefit from prioritizing.