Bytes sind alles, was du brauchst: Transformer, die direkt auf Dateibytes operieren

Bytes Are All You Need: Transformers Operating Directly On File Bytes

May 31, 2023

Autoren: Maxwell Horton, Sachin Mehta, Ali Farhadi, Mohammad Rastegari

cs.AI

Zusammenfassung

Moderne Deep-Learning-Ansätze transformieren Eingaben üblicherweise in eine modalitätsspezifische Form. Zum Beispiel beinhaltet der gängigste Deep-Learning-Ansatz zur Bildklassifizierung die Dekodierung von Bilddatei-Bytes in einen RGB-Tensor, der dann in ein neuronales Netzwerk eingespeist wird. Stattdessen untersuchen wir die Durchführung von Klassifizierung direkt auf Datei-Bytes, ohne die Notwendigkeit, Dateien zur Inferenzzeit zu dekodieren. Die Verwendung von Datei-Bytes als Modelleingaben ermöglicht die Entwicklung von Modellen, die mit mehreren Eingabemodalitäten arbeiten können. Unser Modell, ByteFormer, erreicht eine ImageNet Top-1-Klassifizierungsgenauigkeit von 77,33 %, wenn es direkt auf TIFF-Datei-Bytes trainiert und getestet wird, wobei ein Transformer-Backbone mit einer Konfiguration ähnlich zu DeiT-Ti verwendet wird (72,2 % Genauigkeit bei der Verarbeitung von RGB-Bildern). Ohne Modifikationen oder Hyperparameter-Tuning erreicht ByteFormer eine Klassifizierungsgenauigkeit von 95,42 % bei der Verarbeitung von WAV-Dateien aus dem Speech Commands v2-Datensatz (im Vergleich zur state-of-the-art Genauigkeit von 98,7 %). Zusätzlich zeigen wir, dass ByteFormer Anwendungen in der datenschutzbewahrenden Inferenz hat. ByteFormer ist in der Lage, Inferenz auf bestimmten verschleierten Eingabedarstellungen ohne Genauigkeitsverlust durchzuführen. Wir demonstrieren auch die Fähigkeit von ByteFormer, Inferenz mit einer hypothetischen datenschutzbewahrenden Kamera durchzuführen, die die Bildung vollständiger Bilder vermeidet, indem sie konsequent 90 % der Pixelkanäle maskiert, während dennoch eine Genauigkeit von 71,35 % auf ImageNet erreicht wird. Unser Code wird unter https://github.com/apple/ml-cvnets/tree/main/examples/byteformer verfügbar gemacht.

English

Modern deep learning approaches usually transform inputs into a modality-specific form. For example, the most common deep learning approach to image classification involves decoding image file bytes into an RGB tensor which is passed into a neural network. Instead, we investigate performing classification directly on file bytes, without the need for decoding files at inference time. Using file bytes as model inputs enables the development of models which can operate on multiple input modalities. Our model, ByteFormer, achieves an ImageNet Top-1 classification accuracy of 77.33% when training and testing directly on TIFF file bytes using a transformer backbone with configuration similar to DeiT-Ti (72.2% accuracy when operating on RGB images). Without modifications or hyperparameter tuning, ByteFormer achieves 95.42% classification accuracy when operating on WAV files from the Speech Commands v2 dataset (compared to state-of-the-art accuracy of 98.7%). Additionally, we demonstrate that ByteFormer has applications in privacy-preserving inference. ByteFormer is capable of performing inference on particular obfuscated input representations with no loss of accuracy. We also demonstrate ByteFormer's ability to perform inference with a hypothetical privacy-preserving camera which avoids forming full images by consistently masking 90% of pixel channels, while still achieving 71.35% accuracy on ImageNet. Our code will be made available at https://github.com/apple/ml-cvnets/tree/main/examples/byteformer.