NNsight et NDIF : Démocratiser l'accès aux mécanismes internes des modèles de fondation

NNsight and NDIF: Democratizing Access to Foundation Model Internals

July 18, 2024

Auteurs: Jaden Fiotto-Kaufman, Alexander R Loftus, Eric Todd, Jannik Brinkmann, Caden Juang, Koyena Pal, Can Rager, Aaron Mueller, Samuel Marks, Arnab Sen Sharma, Francesca Lucchetti, Michael Ripa, Adam Belfki, Nikhil Prakash, Sumeet Multani, Carla Brodley, Arjun Guha, Jonathan Bell, Byron Wallace, David Bau

cs.AI

Résumé

L'échelle gigantesque des modèles de fondation (foundation models) de pointe a limité leur accessibilité pour les scientifiques, car des expérimentations personnalisées sur des modèles de grande taille nécessitent un matériel coûteux et une ingénierie complexe, ce qui est impraticable pour la plupart des chercheurs. Pour atténuer ces problèmes, nous présentons NNsight, un package Python open-source doté d'une API simple et flexible capable d'exprimer des interventions sur n'importe quel modèle PyTorch en construisant des graphes de calcul. Nous introduisons également NDIF, une plateforme de recherche collaborative offrant aux chercheurs un accès à des modèles de langage à grande échelle via l'API NNsight. Le code, la documentation et des tutoriels sont disponibles à l'adresse https://www.nnsight.net.

English

The enormous scale of state-of-the-art foundation models has limited their accessibility to scientists, because customized experiments at large model sizes require costly hardware and complex engineering that is impractical for most researchers. To alleviate these problems, we introduce NNsight, an open-source Python package with a simple, flexible API that can express interventions on any PyTorch model by building computation graphs. We also introduce NDIF, a collaborative research platform providing researchers access to foundation-scale LLMs via the NNsight API. Code, documentation, and tutorials are available at https://www.nnsight.net.