Bytes son todo lo que necesitas: Transformers operando directamente sobre los bytes de archivos

Bytes Are All You Need: Transformers Operating Directly On File Bytes

May 31, 2023

Autores: Maxwell Horton, Sachin Mehta, Ali Farhadi, Mohammad Rastegari

cs.AI

Resumen

Los enfoques modernos de aprendizaje profundo suelen transformar las entradas en una forma específica para cada modalidad. Por ejemplo, el enfoque más común de aprendizaje profundo para la clasificación de imágenes implica decodificar los bytes de archivos de imagen en un tensor RGB que se pasa a una red neuronal. En cambio, investigamos realizar la clasificación directamente sobre los bytes de archivo, sin necesidad de decodificar los archivos en el momento de la inferencia. Utilizar los bytes de archivo como entradas del modelo permite el desarrollo de modelos que pueden operar con múltiples modalidades de entrada. Nuestro modelo, ByteFormer, logra una precisión Top-1 en ImageNet del 77.33% cuando se entrena y prueba directamente sobre los bytes de archivos TIFF utilizando una arquitectura de transformadores con una configuración similar a DeiT-Ti (72.2% de precisión cuando opera sobre imágenes RGB). Sin modificaciones ni ajuste de hiperparámetros, ByteFormer alcanza una precisión de clasificación del 95.42% cuando opera sobre archivos WAV del conjunto de datos Speech Commands v2 (en comparación con la precisión de última generación del 98.7%). Además, demostramos que ByteFormer tiene aplicaciones en inferencia que preserva la privacidad. ByteFormer es capaz de realizar inferencia sobre representaciones de entrada ofuscadas específicas sin pérdida de precisión. También demostramos la capacidad de ByteFormer para realizar inferencia con una cámara hipotética que preserva la privacidad, evitando formar imágenes completas al enmascarar consistentemente el 90% de los canales de píxeles, logrando aún así una precisión del 71.35% en ImageNet. Nuestro código estará disponible en https://github.com/apple/ml-cvnets/tree/main/examples/byteformer.

English

Modern deep learning approaches usually transform inputs into a modality-specific form. For example, the most common deep learning approach to image classification involves decoding image file bytes into an RGB tensor which is passed into a neural network. Instead, we investigate performing classification directly on file bytes, without the need for decoding files at inference time. Using file bytes as model inputs enables the development of models which can operate on multiple input modalities. Our model, ByteFormer, achieves an ImageNet Top-1 classification accuracy of 77.33% when training and testing directly on TIFF file bytes using a transformer backbone with configuration similar to DeiT-Ti (72.2% accuracy when operating on RGB images). Without modifications or hyperparameter tuning, ByteFormer achieves 95.42% classification accuracy when operating on WAV files from the Speech Commands v2 dataset (compared to state-of-the-art accuracy of 98.7%). Additionally, we demonstrate that ByteFormer has applications in privacy-preserving inference. ByteFormer is capable of performing inference on particular obfuscated input representations with no loss of accuracy. We also demonstrate ByteFormer's ability to perform inference with a hypothetical privacy-preserving camera which avoids forming full images by consistently masking 90% of pixel channels, while still achieving 71.35% accuracy on ImageNet. Our code will be made available at https://github.com/apple/ml-cvnets/tree/main/examples/byteformer.