Fazer o download, pré-processar e fazer upload do conjunto de dados do ImageNet
Neste documento, descrevemos como fazer o download, pré-processar e fazer upload do conjunto de dados do ImageNet para usar com a arquitetura de VM do Cloud TPU.
O ImageNet é um banco de dados de imagens. As imagens do banco de dados são organizadas hierarquicamente, com cada nó da hierarquia representado por centenas e milhares de imagens.O tamanho do banco de dados do ImageNet significa que o treinamento de um modelo pode levar um tempo considerável. Uma alternativa é usar uma versão de demonstração do conjunto de dados, chamada de fake_imagenet. Essa versão de demonstração permite testar o modelo e, ao mesmo tempo, reduzir os requisitos de armazenamento e tempo associados ao uso do banco de dados completo do ImageNet.
Como pré-processar todo o conjunto de dados do ImageNet
O conjunto de dados do ImageNet consiste em três partes, dados de treinamento, dados de validação e rótulos de imagem.
Os dados de treinamento contêm 1.000 categorias e 1,2 milhão de imagens, empacotadas para download. Os dados de validação e teste não estão contidos nos dados de treinamento do ImageNet (cópias foram removidas).
Os dados de validação e teste consistem em 150.000 fotografias, coletadas Flickr e de outros mecanismos de pesquisa, rotulados com a presença ou ausência de 1.000 categorias de objetos. As 1.000 categorias de objetos contêm nós internos e nós de folha do ImageNet, mas não se sobrepõem uns aos outros. Um subconjunto aleatório de 50.000 das imagens com rótulos foi lançado como dados de validação junto com uma lista das 1.000 categorias. As imagens restantes são usadas para avaliação e foram liberadas sem identificadores.
Etapas para pré-processar o conjunto de dados completo do ImageNet
Há cinco etapas para preparar o conjunto de dados completo do ImageNet para uso por um modelo de machine learning:
- Verifique se há espaço no destino do download.
- Configure os diretórios de destino.
- Registre-se no site do ImageNet e solicite permissão para fazer o download.
Faça o download do conjunto de dados para o disco local ou a instância de VM.
Verificar requisitos de espaço
Se você fizer o download do conjunto de dados na sua máquina local ou em uma instância de VM, serão necessários cerca de 300 GB de espaço disponível no destino de download.
A alocação de disco padrão para uma VM de TPU é de 100 GB. Como o download para a VM de TPU requer 300 GB, se você fizer o download para a instância de VM da TPU, será necessário adicionar um disco permanente com 200 GB de espaço extra para concluir o download. Em uma VM da TPU, verifique o armazenamento disponível com o comando df -ha
.
Ao adicionar um disco permanente, não se esqueça de:
- Defina Ao excluir uma instância como Excluir disco para garantir que o disco seja excluído quando você excluir a VM.
- Anote o caminho do novo disco. Por exemplo,
/mnt/disks/mnt-dir
.
Configurar os diretórios de destino
Na máquina local ou instância de VM, configure a estrutura de diretórios para armazenar os dados transferidos por download.
Crie um diretório, por exemplo,
imagenet
, no diretório principal no destino de download (máquina local ou VM da TPU).mkdir imagenet
Nesse diretório, crie dois subdiretórios:
train
evalidation
.mkdir imagenet/train mkdir imagenet/validation
Exporte o diretório
imagenet
comoIMAGENET_HOME
.export IMAGENET_HOME=~/imagenet
Cadastrar e solicitar permissão para fazer o download do conjunto de dados
Cadastre-se no site do Imagenet. Não é possível fazer o download do conjunto de dados até que o ImageNet confirme seu registro e envie um e-mail de confirmação. Se você não receber o e-mail de confirmação em alguns dias, entre em contato com o suporte do ImageNet para saber por que seu registro não foi confirmado. Depois que seu registro for confirmado, você poderá fazer o download do conjunto de dados. Os tutoriais do Cloud TPU que usam o conjunto de dados ImageNet usam as imagens do ImageNet Large Scale Visual Recognition Challenge 2012 (ILSVRC2012).
Fazer o download do conjunto de dados do ImageNet
No site de download do LSRVC 2012, acesse a seção "Imagens" na página e clique com o botão direito do mouse em "Imagens de treinamento (tarefa 1 e 2)". O URL para fazer o download da maior parte do conjunto de treinamento. Salve o URL.
Clique com o botão direito do mouse em "Imagens de treinamento (tarefa 3)" para acessar o URL do segundo conjunto de treinamento. Salve o URL.
Clique com o botão direito do mouse em "Imagens de validação (todas as tarefas)" para acessar o URL do conjunto de dados de validação. Salve o URL.
Se você fizer o download dos arquivos ImageNet para a máquina local, será necessário copiar os diretórios da máquina local para o diretório
$IMAGENET_HOME
correspondente na instância de VM. A cópia do conjunto de dados do ImageNet do host local para a instância de VM leva aproximadamente 13 horas.Antes de copiar o conjunto de dados do ImageNet para sua VM da TPU, identifique o nome da instância de VM da TPU. Para fazer isso, conecte-se à VM da TPU usando SSH. O nome da instância de VM é mostrado no prompt de comando após o símbolo
@
.Use o comando a seguir para copiar os arquivos em ~/imagenet na máquina local para o
$IMAGENET_HOME
na sua VM.gcloud compute scp --recurse $IMAGENET_HOME username@vm-instance-name:~/imagenet
Em
$IMAGENET_HOME
, faça o download dos arquivos "Training images (Task 1 & 2)" usando o URL salvo.O arquivo de "imagens de treinamento (tarefa 1 e 2)" é o grande conjunto de treinamento. Ele tem 138 GB e, se você estiver fazendo o download para sua VM de TPU usando o Cloud Shell, o download levará aproximadamente 40 horas. Se o Cloud Shell perder a conexão com a VM, inclua
nohup
no comando ou use screen.cd $IMAGENET_HOME \ nohup wget https://image-net.org/data/ILSVRC/2012/ILSVRC2012_img_train.tar
Substitua o URL pelo que você salvou anteriormente em "Imagens de treinamento (tarefa 1 e 2)", já que ele pode ter mudado.
Extraia os diretórios de treinamento individuais no diretório
$IMAGENET_HOME/train
usando o comando a seguir. A extração leva de 1 a 3 horas.tar xf $IMAGENET_HOME/ILSVRC2012_img_train.tar -C $IMAGENET_HOME/train
Extraia os arquivos .tar de treinamento individuais localizados no diretório
$IMAGENET_HOME/train
, conforme mostrado no script a seguir:cd `$IMAGENET_HOME/train` for f in *.tar; do d=`basename $f .tar` mkdir $d tar xf $f -C $d done
Exclua os arquivos .tar após extraí-los para liberar espaço em disco.
Em
$IMAGENET_HOME
, faça o download dos arquivos "Training images (Task 3)" usando o URL salvo.O arquivo "Training images (Task 3)" tem 728 MB e o download leva apenas alguns minutos, então você não precisa tomar precauções para não perder a conexão do Cloud Shell.
wget https://image-net.org/data/ILSVRC/2012/ILSVRC2012_img_train_t3.tar
Substitua o URL pelo que você salvou anteriormente em "Imagens de treinamento (tarefa 3)", já que o URL pode ter mudado.
Extraia os diretórios de treinamento individuais no diretório
$IMAGENET_HOME/train
usando o comando a seguir.tar xf $IMAGENET_HOME/ILSVRC2012_img_train_t3.tar -C $IMAGENET_HOME/train
Extraia os arquivos .tar de treinamento individuais localizados no diretório
$IMAGENET_HOME/train
, conforme mostrado no script a seguir:cd `$IMAGENET_HOME/train` for f in *.tar; do d=`basename $f .tar` mkdir $d tar xf $f -C $d done
Exclua os arquivos .tar após extraí-los para liberar espaço em disco.
Em
$IMAGENET_HOME
, faça o download dos arquivos "Imagens de validação (todas as tarefas)" usando o URL salvo.Ao fazer o download do arquivo "Imagens de validação (todas as tarefas)", o Cloud Shell pode ser desconectado. É possível usar
nohup
ou screen para evitar que o Cloud Shell se desconecte.wget https://image-net.org/data/ILSVRC/2012/ILSVRC2012_img_val.tar
Substitua o URL pelo que você salvou anteriormente em "Imagens de validação (todas as tarefas)", porque ele pode ter sido alterado.
Esse download leva cerca de 30 minutos.
Extraia os arquivos de validação individuais no diretório
$IMAGENET_HOME/validation
usando o comando a seguir.tar xf $IMAGENET_HOME/ILSVRC2012_img_val.tar -C $IMAGENET_HOME/validation
Se você fez o download dos arquivos de validação para a máquina local, é necessário copiar o diretório
$IMAGENET_HOME/validation
da máquina local para o diretório$IMAGENET_HOME/validation
na instância de VM. Essa operação de cópia leva cerca de 30 minutos.Faça o download do arquivo de rótulos.
wget -O $IMAGENET_HOME/synset_labels.txt \ https://raw.githubusercontent.com/tensorflow/models/master/research/slim/datasets/imagenet_2012_validation_synset_labels.txt
Se você fez o download do arquivo de rótulos para a máquina local, é necessário copiá-lo para o diretório
$IMAGENET_HOME
na máquina local para$IMAGENET_HOME
na instância de VM. Essa operação de cópia leva alguns segundos.Os nomes dos subdiretórios de treinamento (por exemplo, n03062245) são códigos do WordNet (wnid). A API ImageNet mostra o mapeamento de IDs do WordNet para os rótulos de validação associados no arquivo
synset_labels.txt
. Uma sintaxe neste contexto é um grupo de imagens visualmente semelhante.
Processar o conjunto de dados ImageNet e, opcionalmente, fazer upload para o Cloud Storage
No GitHub, faça o download do script
imagenet_to_gcs.py
:wget https://raw.githubusercontent.com/tensorflow/tpu/master/tools/datasets/imagenet_to_gcs.py
Se você estiver fazendo upload do conjunto de dados para o Cloud Storage, especifique o local do intervalo de armazenamento para fazer upload do conjunto de dados do ImageNet:
export STORAGE_BUCKET=gs://bucket-name
Se você estiver fazendo upload do conjunto de dados para a VM ou máquina local, especifique um diretório para armazenar o conjunto de dados:
(vm)$ export DATA_DIR=$IMAGENET_HOME/dataset-directory
Instale as seguintes bibliotecas na máquina ou em um ambiente virtual:
pip3 install google-cloud-storage pip3 install tensorflow
Execute o script para pré-processar o conjunto de dados brutos como TFRecords e faça o upload dele no Cloud Storage usando o seguinte comando:
python3 imagenet_to_gcs.py \ --project=$PROJECT \ --gcs_output_path=$STORAGE_BUCKET \ --raw_data_dir=$IMAGENET_HOME \ --local_scratch_dir=$IMAGENET_HOME/tf_records
O script gera um conjunto de diretórios (para treinamento e validação) do formulário:
${DATA_DIR}/train-00000-of-01024
${DATA_DIR}/train-00001-of-01024
...
${DATA_DIR}/train-01023-of-01024
e
${DATA_DIR}/validation-00000-of-00128
${DATA_DIR}/validation-00001-of-00128
...
${DATA_DIR}/validation-00127-of-00128
Depois que os dados forem enviados para seu bucket do Cloud, execute seu modelo e defina
--data_dir=${DATA_DIR}
.