NNsight y NDIF: Democratizando el Acceso a los Internos del Modelo Base

NNsight and NDIF: Democratizing Access to Foundation Model Internals

July 18, 2024

Autores: Jaden Fiotto-Kaufman, Alexander R Loftus, Eric Todd, Jannik Brinkmann, Caden Juang, Koyena Pal, Can Rager, Aaron Mueller, Samuel Marks, Arnab Sen Sharma, Francesca Lucchetti, Michael Ripa, Adam Belfki, Nikhil Prakash, Sumeet Multani, Carla Brodley, Arjun Guha, Jonathan Bell, Byron Wallace, David Bau

cs.AI

Resumen

La enorme escala de los modelos base de vanguardia ha limitado su accesibilidad para los científicos, ya que los experimentos personalizados en modelos grandes requieren hardware costoso y una ingeniería compleja que resulta poco práctica para la mayoría de los investigadores. Para mitigar estos problemas, presentamos NNsight, un paquete de Python de código abierto con una API simple y flexible que puede expresar intervenciones en cualquier modelo de PyTorch mediante la construcción de gráficos de computación. También presentamos NDIF, una plataforma de investigación colaborativa que brinda a los investigadores acceso a LLMs a escala de base a través de la API de NNsight. El código, la documentación y los tutoriales están disponibles en https://www.nnsight.net.

English

The enormous scale of state-of-the-art foundation models has limited their accessibility to scientists, because customized experiments at large model sizes require costly hardware and complex engineering that is impractical for most researchers. To alleviate these problems, we introduce NNsight, an open-source Python package with a simple, flexible API that can express interventions on any PyTorch model by building computation graphs. We also introduce NDIF, a collaborative research platform providing researchers access to foundation-scale LLMs via the NNsight API. Code, documentation, and tutorials are available at https://www.nnsight.net.