Les octets sont tout ce dont vous avez besoin : des Transformers fonctionnant directement sur les octets de fichiers

Bytes Are All You Need: Transformers Operating Directly On File Bytes

May 31, 2023

Auteurs: Maxwell Horton, Sachin Mehta, Ali Farhadi, Mohammad Rastegari

cs.AI

Résumé

Les approches modernes d'apprentissage profond transforment généralement les entrées en une forme spécifique à la modalité. Par exemple, l'approche la plus courante pour la classification d'images consiste à décoder les octets des fichiers image en un tenseur RGB, qui est ensuite passé à un réseau neuronal. Nous explorons plutôt la possibilité d'effectuer la classification directement sur les octets des fichiers, sans nécessiter de décodage au moment de l'inférence. Utiliser les octets des fichiers comme entrées du modèle permet de développer des modèles capables de fonctionner sur plusieurs modalités d'entrée. Notre modèle, ByteFormer, atteint une précision Top-1 de 77,33 % sur ImageNet lors de l'entraînement et du test directement sur les octets de fichiers TIFF, en utilisant une architecture de transformateur similaire à DeiT-Ti (72,2 % de précision sur les images RGB). Sans modifications ni réglage d'hyperparamètres, ByteFormer atteint une précision de classification de 95,42 % sur les fichiers WAV du jeu de données Speech Commands v2 (contre une précision de pointe de 98,7 %). De plus, nous démontrons que ByteFormer a des applications dans l'inférence préservant la confidentialité. ByteFormer est capable d'effectuer des inférences sur des représentations d'entrée obscurcies spécifiques sans perte de précision. Nous montrons également la capacité de ByteFormer à effectuer des inférences avec une caméra hypothétique préservant la confidentialité, qui évite de former des images complètes en masquant systématiquement 90 % des canaux de pixels, tout en atteignant une précision de 71,35 % sur ImageNet. Notre code sera disponible à l'adresse https://github.com/apple/ml-cvnets/tree/main/examples/byteformer.

English

Modern deep learning approaches usually transform inputs into a modality-specific form. For example, the most common deep learning approach to image classification involves decoding image file bytes into an RGB tensor which is passed into a neural network. Instead, we investigate performing classification directly on file bytes, without the need for decoding files at inference time. Using file bytes as model inputs enables the development of models which can operate on multiple input modalities. Our model, ByteFormer, achieves an ImageNet Top-1 classification accuracy of 77.33% when training and testing directly on TIFF file bytes using a transformer backbone with configuration similar to DeiT-Ti (72.2% accuracy when operating on RGB images). Without modifications or hyperparameter tuning, ByteFormer achieves 95.42% classification accuracy when operating on WAV files from the Speech Commands v2 dataset (compared to state-of-the-art accuracy of 98.7%). Additionally, we demonstrate that ByteFormer has applications in privacy-preserving inference. ByteFormer is capable of performing inference on particular obfuscated input representations with no loss of accuracy. We also demonstrate ByteFormer's ability to perform inference with a hypothetical privacy-preserving camera which avoids forming full images by consistently masking 90% of pixel channels, while still achieving 71.35% accuracy on ImageNet. Our code will be made available at https://github.com/apple/ml-cvnets/tree/main/examples/byteformer.