NNsight en NDIF: Democratisering van Toegang tot Interne Werking van Foundation Modellen
NNsight and NDIF: Democratizing Access to Foundation Model Internals
July 18, 2024
Auteurs: Jaden Fiotto-Kaufman, Alexander R Loftus, Eric Todd, Jannik Brinkmann, Caden Juang, Koyena Pal, Can Rager, Aaron Mueller, Samuel Marks, Arnab Sen Sharma, Francesca Lucchetti, Michael Ripa, Adam Belfki, Nikhil Prakash, Sumeet Multani, Carla Brodley, Arjun Guha, Jonathan Bell, Byron Wallace, David Bau
cs.AI
Samenvatting
De enorme schaal van state-of-the-art foundation-modellen heeft hun toegankelijkheid voor wetenschappers beperkt, omdat aangepaste experimenten met grote modelgroottes dure hardware en complexe engineering vereisen die voor de meeste onderzoekers onpraktisch zijn. Om deze problemen te verlichten, introduceren we NNsight, een open-source Python-pakket met een eenvoudige, flexibele API die interventies op elk PyTorch-model kan uitdrukken door rekengrafieken te bouwen. We introduceren ook NDIF, een collaboratief onderzoeksplatform dat onderzoekers toegang biedt tot foundation-scale LLM's via de NNsight API. Code, documentatie en tutorials zijn beschikbaar op https://www.nnsight.net.
English
The enormous scale of state-of-the-art foundation models has limited their
accessibility to scientists, because customized experiments at large model
sizes require costly hardware and complex engineering that is impractical for
most researchers. To alleviate these problems, we introduce NNsight, an
open-source Python package with a simple, flexible API that can express
interventions on any PyTorch model by building computation graphs. We also
introduce NDIF, a collaborative research platform providing researchers access
to foundation-scale LLMs via the NNsight API. Code, documentation, and
tutorials are available at https://www.nnsight.net.