NNsight и NDIF: Демократизация доступа к внутренностям базовой модели.

NNsight and NDIF: Democratizing Access to Foundation Model Internals

July 18, 2024

Авторы: Jaden Fiotto-Kaufman, Alexander R Loftus, Eric Todd, Jannik Brinkmann, Caden Juang, Koyena Pal, Can Rager, Aaron Mueller, Samuel Marks, Arnab Sen Sharma, Francesca Lucchetti, Michael Ripa, Adam Belfki, Nikhil Prakash, Sumeet Multani, Carla Brodley, Arjun Guha, Jonathan Bell, Byron Wallace, David Bau

cs.AI

Аннотация

Огромный масштаб современных базовых моделей ограничивает доступ к ним ученым, поскольку настраиваемые эксперименты с крупными моделями требуют дорогостоящего оборудования и сложной инженерной работы, что является непрактичным для большинства исследователей. Для решения этих проблем мы представляем NNsight, пакет на языке Python с открытым исходным кодом, обладающий простым и гибким API, который позволяет осуществлять вмешательства в любую модель PyTorch путем построения вычислительных графов. Мы также представляем NDIF, совместную исследовательскую платформу, предоставляющую исследователям доступ к базовым LLMs масштаба фундаментальных моделей через API NNsight. Код, документация и учебные пособия доступны на сайте https://www.nnsight.net.

English

The enormous scale of state-of-the-art foundation models has limited their accessibility to scientists, because customized experiments at large model sizes require costly hardware and complex engineering that is impractical for most researchers. To alleviate these problems, we introduce NNsight, an open-source Python package with a simple, flexible API that can express interventions on any PyTorch model by building computation graphs. We also introduce NDIF, a collaborative research platform providing researchers access to foundation-scale LLMs via the NNsight API. Code, documentation, and tutorials are available at https://www.nnsight.net.