Visão Geral dos Componentes do NuScenes

Nosso conjunto de dados é composto pelos seguintes blocos fundamentais:

1. log – Informações do registro de onde os dados foram extraídos.
2. scene – Segmento de 20 segundos da condução do veículo.
3. sample – Instantâneo da cena anotado em um timestamp específico.
4. sample_data – Dados coletados de um sensor específico.
5. ego_pose – Pose do veículo principal em um timestamp específico.
6. sensor – Tipo específico de sensor.
7. calibrated_sensor – Definição de calibração de um sensor específico em um veículo específico.
8. instance – Enumeração de todas as instâncias de objetos observados.
9. category – Classificação da categoria do objeto (ex.: veículo, humano).
10. attribute – Atributos de uma instância que podem mudar enquanto a categoria permanece a mesma.
11. visibility – Fração de pixels visíveis em todas as imagens coletadas por 6 câmeras diferentes.
12. sample_annotation – Anotação de instância de um objeto de interesse.
13. map – Dados do mapa armazenados como máscaras semânticas binárias em vista superior.

Explorando o Conjunto de Dados

1. Scene

O nuScenes é um grande banco de dados com 1000 cenas anotadas, cada uma com aproximadamente 20 segundos. Vamos examinar as cenas carregadas no banco de dados.

nusc.list_scenes()

scene-0061, Parked truck, construction, intersectio... [18-07-24 03:28:47]   19s, singapore-onenorth, #anns:4622
scene-0103, Many peds right, wait for turning car, ... [18-08-01 19:26:43]   19s, boston-seaport, #anns:2046
scene-0655, Parking lot, parked cars, jaywalker, be... [18-08-27 15:51:32]   20s, boston-seaport, #anns:2332
scene-0553, Wait at intersection, bicycle, large tr... [18-08-28 20:48:16]   20s, boston-seaport, #anns:1950
scene-0757, Arrive at busy intersection, bus, wait ... [18-08-30 19:25:08]   20s, boston-seaport, #anns:592
scene-0796, Scooter, peds on sidewalk, bus, cars, t... [18-10-02 02:52:24]   20s, singapore-queensto, #anns:708
scene-0916, Parking lot, bicycle rack, parked bicyc... [18-10-08 07:37:13]   20s, singapore-queensto, #anns:2387
scene-1077, Night, big street, bus stop, high speed... [18-11-21 11:39:27]   20s, singapore-hollandv, #anns:890
scene-1094, Night, after rain, many peds, PMD, ped ... [18-11-21 11:47:27]   19s, singapore-hollandv, #anns:1762
scene-1100, Night, peds in sidewalk, peds cross cro... [18-11-21 11:49:47]   19s, singapore-hollandv, #anns:935

Vamos examinar os metadados de uma cena.

minha_cena = nusc.scene[0]
minha_cena

{
    "token": "cc8c0bf57f984915a77078b10eb33198",
    "log_token": "7e25a2c8ea1f41c5b0da1e69ecfa71a2",
    "nbr_samples": 39,
    "first_sample_token": "ca9a282c9e77460f8360f564131a8af5",
    "last_sample_token": "ed5fc18c31904f96a8f0dbb99ff069c0",
    "name": "scene-0061",
    "description": "Parked truck, construction, intersection, turn left, following a van"
}

2. Sample

Dentro de uma cena, as anotações são feitas a cada meio segundo (2 Hz).

Deifnimos uma "amostra" como um quadro-chave anotado da cena em um timestamp específico. Quadros-chave são quadros onde os timestamps dos dados de todos os sensores estão muito próximos do timestamp da amostra.

Agora, vamos ver a primeira amostra anotada nesta cena.

token_primeira_amostra = minha_cena['first_sample_token']

minha_amostra = nusc.get('sample', token_primeira_amostra)
minha_amostra

{
    "token": "ca9a282c9e77460f8360f564131a8af5",
    "timestamp": 1532402927647951,
    "prev": "",
    "next": "39586f9d59004284a7114a68825e8eec",
    "scene_token": "cc8c0bf57f984915a77078b10eb33198",
    "data": {
        "RADAR_FRONT": "37091c75b9704e0daa829ba56dfa0906",
        "RADAR_FRONT_LEFT": "11946c1461d14016a322916157da3c7d",
        "RADAR_FRONT_RIGHT": "491209956ee3435a9ec173dad3aaf58b",
        "RADAR_BACK_LEFT": "312aa38d0e3e4f01b3124c523e6f9776",
        "RADAR_BACK_RIGHT": "07b30d5eb6104e79be58eadf94382bc1",
        "LIDAR_TOP": "9d9bf11fb0e144c8b446d54a8a00184f",
        "CAM_FRONT": "e3d495d4ac534d54b321f50006683844",
        "CAM_FRONT_RIGHT": "aac7867ebf4f446395d29fbd60b63b3b",
        "CAM_BACK_RIGHT": "79dbb4460a6b40f49f9c150cb118247e",
        "CAM_BACK": "03bea5763f0f4722933508d5999c5fd8",
        "CAM_BACK_LEFT": "43893a033f9c46d4a51b5e08a67a1eb7",
        "CAM_FRONT_LEFT": "fe5422747a7d4268a4b07fc396707b23"
    },
    "anns": [
        "ef63a697930c4b20a6b9791f423351da",
        "6b89da9bf1f84fd6a5fbe1c3b236f809",
        "924ee6ac1fed440a9d9e3720aac635a0",
        "91e3608f55174a319246f361690906ba",
        "cd051723ed9c40f692b9266359f547af",
        "36d52dfedd764b27863375543c965376",
        "70af124fceeb433ea73a79537e4bea9e",
        "63b89fe17f3e41ecbe28337e0e35db8e",
        "e4a3582721c34f528e3367f0bda9485d",
        "fcb2332977ed4203aa4b7e04a538e309",
        "a0cac1c12246451684116067ae2611f6",
        "02248ff567e3497c957c369dc9a1bd5c",
        "9db977e264964c2887db1e37113cddaa",
        "ca9c5dd6cf374aa980fdd81022f016fd",
        "179b8b54ee74425893387ebc09ee133d",
        "5b990ac640bf498ca7fd55eaf85d3e12",
        "16140fbf143d4e26a4a7613cbd3aa0e8",
        "54939f11a73d4398b14aeef500bf0c23",
        "83d881a6b3d94ef3a3bc3b585cc514f8",
        "74986f1604f047b6925d409915265bf7",
        "e86330c5538c4858b8d3ffe874556cc5",
        "a7bd5bb89e27455bbb3dba89a576b6a1",
        "fbd9d8c939b24f0eb6496243a41e8c41",
        "198023a1fb5343a5b6fad033ab8b7057",
        "ffeafb90ecd5429cba23d0be9a5b54ee",
        "cc636a58e27e446cbdd030c14f3718fd"
    ]
}