Visão de Redes Neurais e NDIF: Democratizando o Acesso aos Internos do Modelo Fundamental

NNsight and NDIF: Democratizing Access to Foundation Model Internals

July 18, 2024

Autores: Jaden Fiotto-Kaufman, Alexander R Loftus, Eric Todd, Jannik Brinkmann, Caden Juang, Koyena Pal, Can Rager, Aaron Mueller, Samuel Marks, Arnab Sen Sharma, Francesca Lucchetti, Michael Ripa, Adam Belfki, Nikhil Prakash, Sumeet Multani, Carla Brodley, Arjun Guha, Jonathan Bell, Byron Wallace, David Bau

cs.AI

Resumo

A enorme escala dos modelos de base de última geração tem limitado sua acessibilidade aos cientistas, pois experimentos personalizados em tamanhos de modelo grandes requerem hardware custoso e engenharia complexa que é impraticável para a maioria dos pesquisadores. Para aliviar esses problemas, apresentamos o NNsight, um pacote Python de código aberto com uma API simples e flexível que pode expressar intervenções em qualquer modelo PyTorch construindo grafos de computação. Também introduzimos o NDIF, uma plataforma de pesquisa colaborativa que fornece aos pesquisadores acesso a LLMs em escala de base por meio da API do NNsight. Código, documentação e tutoriais estão disponíveis em https://www.nnsight.net.

English

The enormous scale of state-of-the-art foundation models has limited their accessibility to scientists, because customized experiments at large model sizes require costly hardware and complex engineering that is impractical for most researchers. To alleviate these problems, we introduce NNsight, an open-source Python package with a simple, flexible API that can express interventions on any PyTorch model by building computation graphs. We also introduce NDIF, a collaborative research platform providing researchers access to foundation-scale LLMs via the NNsight API. Code, documentation, and tutorials are available at https://www.nnsight.net.