Download e Preparação dos Datasets COCO e VOC

Para testar algoritmos de detecção de objetos em servidores remotos, é necessário utilizar conjunots de dados de teste. Os mais comuns são os datasets COCO 2014/2017 e VOC 2007/2012.

O endereço oficial do dataset COCO está disponível em http://cocodataset.org/#downloadPara VOC e COCO, há um espelho disponível em https://pjreddie.com/projects/pascal-voc-dataset-mirror/

Estrutura de Pastas do Dataset VOC

A estrutura de pastas esperada é semelhante à usada pelo detectron2:

DIRETORIO_RAIZ_VOC
|__ VOC2007
    |_ JPEGImages
    |_ Annotations
    |_ ImageSets
    |_ SegmentationClass
|__ VOC2012
    |_ JPEGImages
    |_ Annotations
    |_ ImageSets
    |_ SegmentationClass
|__ ...

Script para Download e Organização do VOC

# Criar diretório para o dataset VOC
mkdir diretorio_voc && cd diretorio_voc

# Baixar e extrair o dataset VOC2012
wget http://pjreddie.com/media/files/VOCtrainval_11-May-2012.tar
tar -xvf VOCtrainval_11-May-2012.tar
rm VOCtrainval_11-May-2012.tar

wget http://pjreddie.com/media/files/VOC2012test.tar
tar -xvf VOC2012test.tar
rm VOC2012test.tar

# Mover os arivos para a estrutura correta
mv VOCdevkit/VOC2012/ ./ 

# Baixar e extrair o dataset VOC2007
wget http://pjreddie.com/media/files/VOCtrainval_06-Nov-2007.tar
tar -xvf VOCtrainval_06-Nov-2007.tar
rm VOCtrainval_06-Nov-2007.tar

wget http://pjreddie.com/media/files/VOCtest_06-Nov-2007.tar
tar -xvf VOCtest_06-Nov-2007.tar
rm VOCtest_06-Nov-2007.tar

mv VOCdevkit/VOC2007/ ./
rm -rf VOCdevkit

Estrutura de Pastas do Dataset COCO

A estrutura esperada para o dataset COCO é a seguinte:

DIRETORIO_RAIZ_COCO
|__ annotations
    |_ instances_valminusminival2014.json
    |_ instances_minival2014.json
    |_ instances_train2014.json
    |_ instances_val2014.json
    |_ ...
|__ train2014
    |_ <imagem-1>.jpg
    |_ ...
    |_ <imagem-N>.jpg
|__ val2014
    |_ <imagem-1>.jpg
    |_ ...
    |_ <imagem-N>.jpg
|__ ...

Script para Download e Organização do COCO 2017

# Criar diretório para o dataset COCO
mkdir diretorio_coco && cd diretorio_coco

# Baixar e extrair as imagens de treino do COCO2017
wget -c http://images.cocodataset.org/zips/train2017.zip
unzip train2017.zip
rm train2017.zip

# Baixar e extrair as anotações do COCO2017
wget -c http://images.cocodataset.org/annotations/annotations_trainval2017.zip
unzip annotations_trainval2017.zip
rm annotations_trainval2017.zip

# Baixar e extrair as imagens de validação do COCO2017
wget -c http://images.cocodataset.org/zips/val2017.zip
unzip val2017.zip
rm val2017.zip

Script para Download e Organização do COCO 2014

# Criar diretório para o dataset COCO2014
mkdir coco2014 && cd coco2014

# Baixar e extrair as imagens de treino
wget http://images.cocodataset.org/zips/train2014.zip
unzip train2014.zip
rm train2014.zip

# Baixar e extrair as imagens de validação
wget http://images.cocodataset.org/zips/val2014.zip
unzip val2014.zip
rm val2014.zip

# Baixar e extrair as anotações
wget http://images.cocodataset.org/annotations/annotations_trainval2014.zip
unzip annotations_trainval2014.zip
rm annotations_trainval2014.zip

# Baixar subconjunto 'minival' (5k imagens)
wget https://dl.dropboxusercontent.com/s/s3tw5zcg7395368/instances_valminusminival2014.json.zip?dl=0
unzip instances_valminusminival2014.json.zip\?dl\=0
mv instances_valminusminival2014.json ../annotations/
rm instances_valminusminival2014.json.zip\?dl\=0

wget https://dl.dropboxusercontent.com/s/o43o90bna78omob/instances_minival2014.json.zip?dl=0
unzip instances_minival2014.json.zip?dl=0
mv instances_minival2014.json ../annotations/
rm instances_minival2014.json.zip?dl=0

Alternativa com Espelho para COCO2014

# Criar diretório para o dataset COCO2014 (alternativa)
mkdir coco2014_alternativo && cd coco2014_alternativo

# Baixar usando espelho
wget https://pjreddie.com/media/files/train2014.zip
unzip train2014.zip
rm train2014.zip

wget https://pjreddie.com/media/files/val2014.zip
unzip val2014.zip
rm val2014.zip

wget https://pjreddie.com/media/files/instances_train-val2014.zip
unzip instances_train-val2014.zip
rm instances_train-val2014.zip