Байты — это всё, что вам нужно: трансформеры, работающие непосредственно с байтами файлов

Bytes Are All You Need: Transformers Operating Directly On File Bytes

May 31, 2023

Авторы: Maxwell Horton, Sachin Mehta, Ali Farhadi, Mohammad Rastegari

cs.AI

Аннотация

Современные подходы глубокого обучения обычно преобразуют входные данные в форму, специфичную для модальности. Например, наиболее распространенный подход глубокого обучения к классификации изображений предполагает декодирование байтов файла изображения в RGB-тензор, который передается в нейронную сеть. Вместо этого мы исследуем выполнение классификации непосредственно на байтах файлов, без необходимости декодирования файлов во время вывода. Использование байтов файлов в качестве входных данных модели позволяет разрабатывать модели, способные работать с несколькими входными модальностями. Наша модель, ByteFormer, достигает точности классификации Top-1 на ImageNet в 77,33% при обучении и тестировании непосредственно на байтах файлов TIFF с использованием трансформерной архитектуры, конфигурация которой аналогична DeiT-Ti (точность 72,2% при работе с RGB-изображениями). Без изменений или настройки гиперпараметров ByteFormer достигает точности классификации 95,42% при работе с WAV-файлами из набора данных Speech Commands v2 (по сравнению с современным уровнем точности 98,7%). Кроме того, мы демонстрируем, что ByteFormer имеет применение в задачах вывода с сохранением конфиденциальности. ByteFormer способен выполнять вывод на определенных зашифрованных входных представлениях без потери точности. Мы также демонстрируем способность ByteFormer выполнять вывод с использованием гипотетической камеры, сохраняющей конфиденциальность, которая избегает формирования полных изображений, постоянно маскируя 90% каналов пикселей, при этом достигая точности 71,35% на ImageNet. Наш код будет доступен по адресу https://github.com/apple/ml-cvnets/tree/main/examples/byteformer.

English

Modern deep learning approaches usually transform inputs into a modality-specific form. For example, the most common deep learning approach to image classification involves decoding image file bytes into an RGB tensor which is passed into a neural network. Instead, we investigate performing classification directly on file bytes, without the need for decoding files at inference time. Using file bytes as model inputs enables the development of models which can operate on multiple input modalities. Our model, ByteFormer, achieves an ImageNet Top-1 classification accuracy of 77.33% when training and testing directly on TIFF file bytes using a transformer backbone with configuration similar to DeiT-Ti (72.2% accuracy when operating on RGB images). Without modifications or hyperparameter tuning, ByteFormer achieves 95.42% classification accuracy when operating on WAV files from the Speech Commands v2 dataset (compared to state-of-the-art accuracy of 98.7%). Additionally, we demonstrate that ByteFormer has applications in privacy-preserving inference. ByteFormer is capable of performing inference on particular obfuscated input representations with no loss of accuracy. We also demonstrate ByteFormer's ability to perform inference with a hypothetical privacy-preserving camera which avoids forming full images by consistently masking 90% of pixel channels, while still achieving 71.35% accuracy on ImageNet. Our code will be made available at https://github.com/apple/ml-cvnets/tree/main/examples/byteformer.