《深度学习之图像识别核心技术与案例实战》—3.2.2 自动驾驶数据集

3.2.2  自动驾驶数据集

　　自动驾驶是目前非常热门的研究领域，几乎所有的车厂、大型互联网公司都参与其中，而其中计算机视觉技术的应用也非常广泛，本节就对自动驾驶中的重要数据集做简单介绍。

　　1．KITTI数据集

　　数据集地址为http://www.cvlibs.net/datasets/kitti/index.php，发布于2009年。KITTI数据集是由德国卡尔斯鲁厄理工学院和芝加哥丰田技术学院联合创办的项目。该数据集中的数据主要是在德国的卡尔斯鲁厄周边的农村和高速公路拍摄而成，每张图象最多显示15辆汽车和30名行人，各自有各种不同程度的遮挡。该数据集是在装有激光雷达的车辆上以10Hz的频率采样进行采集的，最终包含389对立体图像和光流图，39.2km视觉测距序列，20万张以上的3D标注物体的图像，涵盖了市区、乡村和高速公路等场景，包括图片、视频、雷达数据等数据类型。

　　数据集的语义标签包括Road、City、Residential、Campus和Person共5大类。

　　KITTY数据集可以用于评测各种任务，包括立体图像（Stereo）、光流（Optical Flow）、视觉测距（Visual Odometry）、深度估计（Depth Prediction）、3D物体检测（Object Detection）、3D跟踪（Tracking）、路面及车道线检测等。

　　2．Oxford RobotCar数据集

　　数据集地址为https://www.cityscapes-dataset.com/，发布于2014年，是在牛津大学校园内路测总长度为1010.64公里，历时一年半所采集的数据集。在各种天气条件下进行收集，包括大雨、夜间、阳光直射和积雪，也包含施工路段行驶场景，具有非常复杂的天气场景，尤其适合评测计算机视觉算法。

　　3．Cityscape数据集

　　数据集地址为https://www.cityscapes-dataset.com/Cityscapes，发布于2016年，是由奔驰公司采集的面向城市道路街景语义理解的数据集。Cityscapes数据集包含50个城市在春、夏、秋3个季节不同时间段不同场景、背景的街景图，提供了5000张精细标注的图像、20000张粗略标注的图像和30类标注物体。用PASCAL VOC标准的Intersection-over-union（IoU）得分对算法性能进行评价。

　　4．Common.ai数据集

　　数据集地址为https://github.com/commaai/research，发布于2016年，是一段高速公路的视频数据集，包括10个可变大小的视频片段，以20Hz的频率记录。数据集中除了图像之外，还记录了一些测量值，如汽车速度、加速度、转向角、GPS坐标、陀螺仪角度等信息。

　　5．Udacity数据集

　　数据集地址为https://github.com/udacity/self-driving-car/tree/master/datasets，发布于2016年。Udacity是Google开设的线上教育平台，其中有自动驾驶相关的线上培训，它也为其自动驾驶算法比赛专门准备了数据集。该数据集包括在加利福尼亚和邻近城市在白天条件下行驶拍摄的图像，为1920×1200分辨率的9423帧图像，包含超过65000个标签。该数据集是由CuldAd使用机器学习算法和研究员共同进行标注的。

　　除了车辆拍摄的图像以外，还包括车辆本身的属性和参数信息，如经纬度、制动器、油门、转向度和转速。

　　6．BDD100k数据集

　　数据集地址为http://bdd-data.berkeley.edu/#video，发布于2018年，是目前来说最大规模也是最多样化的驾驶视频数据集，这些数据具有4个主要特征：大规模、多样化、在真实的街道采集和带有时间信息。

　　BDD100k数据集有累计超过1100小时驾驶体验的10万个高清视频序列。每个视频大约40秒长、分辨率为720p、帧率为30fps，还附有手机记录的GPS/IMU信息，以显示大概的驾驶轨迹。该数据库涵盖了不同的天气条件，包括晴天、阴天和雨天，以及白天和晚上的不同时间。

　　BAIR研究者在每个视频的第10秒采样关键帧，并为这些关键帧提供注释。这些关键帧被标记为几个级别：图像标记、道路对象边界框、可驾驶区域、车道标记线和全帧实例分割，下面具体介绍。

　　边界框标注，为经常出现在道路上的所有10万个关键帧上的对象标上对象边界框，以了解对象的分布及其位置。另外它包含比同类数据集更多的行人实例。

　　车道标注，车道线是驾驶员重要的道路指示，当GPS或地图没有精准地全球覆盖时，车道线是自动驾驶系统驾驶方向和定位的关键线索。车道的标记分为两种类型，即垂直车道标记和平行车道标记，垂直车道标记表示沿着车道行驶方向的标记，平行车道标记表示车道上的车辆需要停车的标志。另外还提供了若干标记的属性，如实线与虚线，双层与单层等。

　　7．CVPR Workshop on Autonomous Driving数据集

　　CVPR Workshop on Autonomous Driving数据集是CVPR近几年举办的自动驾驶Workshop数据集，由于深度学习的兴起，计算机视觉等技术被用于自动驾驶的目标检测、语义分割等领域，因而CVPR也开设了若干相关的Workshop。具体的单元包括可行驶区域检测、路面的模板检测、跨域的语义分割及移动目标的实例级别分割。

　　8．GTA数据集

　　数据集地址为http://www.rockstargames.com/grandtheftauto/。

　　真实的驾驶数据的获取需要花费高昂的设备，而Intel实验室和德国的研究小组想到了在虚拟世界中测试无人驾驶技术的方案。他们使用Rockstar Games公司开发的一款赛车游戏《Grand Theft Auto 5》，对其进行语义分割标注，然后在这个虚拟的游戏环境中进行测试。虽然是虚拟环境但是很接近真实世界，涵盖了各种各样的道路状况，包括山区、郊区和城市，以及各种各样的车辆，比如警车、救护车、出租车、货车等车型。

　　9．TORCS数据集

　　数据集地址为http://torcs.sourceforge.net/。TORCS数据集是一种高度便携的多平台赛车模拟，被用作普通的赛车游戏，可以作为AI赛车游戏和研究平台。

　　10．nuScenes数据集

　　数据集地址为https://d3u7q4379vrm7e.cloudfront.net/download，发布于2018年，是由NuTonomy编辑的，并于2019年会推出最全的nuScenes数据集。该数据集中采集了1000多个场景，其中包含140万幅图像、40万次激光雷达扫描（判断物体之间的距离）和110万个三维边界框（用RGB相机、雷达和激光雷达组合检测的物体）。此次数据的搜集使用了6个摄像头、1个激光雷达、5个毫米波雷达、GPS及惯导系统，包括了对自动驾驶系统来说非常有挑战性的复杂道路、天气条件等情况。

　　11．百度ApolloScape数据集

　　数据集地址为http://apolloscape.auto/scene.html，发布于2018年，是由百度Apollo提供的数据集。截至2018年4月3日，累计开放提供了146997帧图像数据，包含像素级标注和姿态信息，以及对应的背景深度图像。该数据集中提供的图像分辨率为3384×2710像素，包含了共26个不同语义项的数据实例（如汽车、自行车、行人、建筑和路灯等），涵盖了非常复杂的环境、天气和交通状况等，并且还有场景语义分割的密集三维点云、基于双目立体视觉的视频和全景图像。