NNsight e NDIF: Democratizzare l'Accesso agli Interni dei Modelli di Base
NNsight and NDIF: Democratizing Access to Foundation Model Internals
July 18, 2024
Autori: Jaden Fiotto-Kaufman, Alexander R Loftus, Eric Todd, Jannik Brinkmann, Caden Juang, Koyena Pal, Can Rager, Aaron Mueller, Samuel Marks, Arnab Sen Sharma, Francesca Lucchetti, Michael Ripa, Adam Belfki, Nikhil Prakash, Sumeet Multani, Carla Brodley, Arjun Guha, Jonathan Bell, Byron Wallace, David Bau
cs.AI
Abstract
L'enorme scala dei modelli foundation allo stato dell'arte ha limitato la loro accessibilità per gli scienziati, poiché esperimenti personalizzati su modelli di grandi dimensioni richiedono hardware costoso e ingegneria complessa che risulta impraticabile per la maggior parte dei ricercatori. Per alleviare questi problemi, introduciamo NNsight, un pacchetto Python open-source con un'API semplice e flessibile in grado di esprimere interventi su qualsiasi modello PyTorch costruendo grafi di calcolo. Introduciamo inoltre NDIF, una piattaforma di ricerca collaborativa che fornisce ai ricercatori l'accesso a LLM di scala foundation tramite l'API di NNsight. Codice, documentazione e tutorial sono disponibili all'indirizzo https://www.nnsight.net.
English
The enormous scale of state-of-the-art foundation models has limited their
accessibility to scientists, because customized experiments at large model
sizes require costly hardware and complex engineering that is impractical for
most researchers. To alleviate these problems, we introduce NNsight, an
open-source Python package with a simple, flexible API that can express
interventions on any PyTorch model by building computation graphs. We also
introduce NDIF, a collaborative research platform providing researchers access
to foundation-scale LLMs via the NNsight API. Code, documentation, and
tutorials are available at https://www.nnsight.net.