NNsight und NDIF: Demokratisierung des Zugangs zu den internen Strukturen von Grundmodellen

NNsight and NDIF: Democratizing Access to Foundation Model Internals

July 18, 2024

Autoren: Jaden Fiotto-Kaufman, Alexander R Loftus, Eric Todd, Jannik Brinkmann, Caden Juang, Koyena Pal, Can Rager, Aaron Mueller, Samuel Marks, Arnab Sen Sharma, Francesca Lucchetti, Michael Ripa, Adam Belfki, Nikhil Prakash, Sumeet Multani, Carla Brodley, Arjun Guha, Jonathan Bell, Byron Wallace, David Bau

cs.AI

Zusammenfassung

Das enorme Ausmaß der modernsten Grundlagenmodelle hat den Zugang für Wissenschaftler eingeschränkt, da maßgeschneiderte Experimente mit großen Modellgrößen teure Hardware und komplexe Ingenieurskunst erfordern, die für die meisten Forscher unpraktisch ist. Um diese Probleme zu lindern, stellen wir NNsight vor, ein Open-Source-Python-Paket mit einer einfachen, flexiblen API, die Interventionen in jedem PyTorch-Modell durch den Aufbau von Berechnungsgraphen ausdrücken kann. Wir stellen auch NDIF vor, eine kollaborative Forschungsplattform, die Forschern über die NNsight-API Zugang zu Grundlagenmaßstäben von LLMs bietet. Code, Dokumentation und Tutorials sind unter https://www.nnsight.net verfügbar.

English

The enormous scale of state-of-the-art foundation models has limited their accessibility to scientists, because customized experiments at large model sizes require costly hardware and complex engineering that is impractical for most researchers. To alleviate these problems, we introduce NNsight, an open-source Python package with a simple, flexible API that can express interventions on any PyTorch model by building computation graphs. We also introduce NDIF, a collaborative research platform providing researchers access to foundation-scale LLMs via the NNsight API. Code, documentation, and tutorials are available at https://www.nnsight.net.