Bytes São Tudo o Que Você Precisa: Transformadores Operando Diretamente em Bytes de Arquivos

Bytes Are All You Need: Transformers Operating Directly On File Bytes

May 31, 2023

Autores: Maxwell Horton, Sachin Mehta, Ali Farhadi, Mohammad Rastegari

cs.AI

Resumo

As abordagens modernas de aprendizado profundo geralmente transformam as entradas em uma forma específica à modalidade. Por exemplo, a abordagem mais comum de aprendizado profundo para classificação de imagens envolve decodificar os bytes do arquivo de imagem em um tensor RGB, que é então passado para uma rede neural. Em vez disso, investigamos a realização de classificação diretamente nos bytes do arquivo, sem a necessidade de decodificar os arquivos no momento da inferência. Usar bytes de arquivo como entradas do modelo permite o desenvolvimento de modelos que podem operar em múltiplas modalidades de entrada. Nosso modelo, ByteFormer, alcança uma precisão de classificação Top-1 no ImageNet de 77,33% ao treinar e testar diretamente em bytes de arquivos TIFF, utilizando uma arquitetura de transformer com configuração semelhante ao DeiT-Ti (72,2% de precisão ao operar em imagens RGB). Sem modificações ou ajuste de hiperparâmetros, o ByteFormer alcança 95,42% de precisão de classificação ao operar em arquivos WAV do conjunto de dados Speech Commands v2 (em comparação com a precisão state-of-the-art de 98,7%). Além disso, demonstramos que o ByteFormer tem aplicações em inferência que preserva a privacidade. O ByteFormer é capaz de realizar inferência em representações de entrada ofuscadas específicas sem perda de precisão. Também demonstramos a capacidade do ByteFormer de realizar inferência com uma câmera hipotética que preserva a privacidade, evitando a formação de imagens completas ao mascarar consistentemente 90% dos canais de pixels, enquanto ainda alcança 71,35% de precisão no ImageNet. Nosso código estará disponível em https://github.com/apple/ml-cvnets/tree/main/examples/byteformer.

English

Modern deep learning approaches usually transform inputs into a modality-specific form. For example, the most common deep learning approach to image classification involves decoding image file bytes into an RGB tensor which is passed into a neural network. Instead, we investigate performing classification directly on file bytes, without the need for decoding files at inference time. Using file bytes as model inputs enables the development of models which can operate on multiple input modalities. Our model, ByteFormer, achieves an ImageNet Top-1 classification accuracy of 77.33% when training and testing directly on TIFF file bytes using a transformer backbone with configuration similar to DeiT-Ti (72.2% accuracy when operating on RGB images). Without modifications or hyperparameter tuning, ByteFormer achieves 95.42% classification accuracy when operating on WAV files from the Speech Commands v2 dataset (compared to state-of-the-art accuracy of 98.7%). Additionally, we demonstrate that ByteFormer has applications in privacy-preserving inference. ByteFormer is capable of performing inference on particular obfuscated input representations with no loss of accuracy. We also demonstrate ByteFormer's ability to perform inference with a hypothetical privacy-preserving camera which avoids forming full images by consistently masking 90% of pixel channels, while still achieving 71.35% accuracy on ImageNet. Our code will be made available at https://github.com/apple/ml-cvnets/tree/main/examples/byteformer.