2021年7月6日 工作计划

• 车位识别的方法？【基于角点】

  • 深度学习
  • 普通匹配算法

• 自动泊车实现的平台？

  • T5的ARM（A53）or T5的GPU（G31）

2021年7月2日会议纪要

TI庞大 全志T5
APA AVP全景基础【重要】
2D 3D熟悉
2D找角点 【重要】
停车算法

输出图像数据

在此基础上，AVP/APA较简单

一起去珠海，车定了，底控什么样，采集数据什么样

《基于视觉感知的自动泊车算法研究》 实践

车位识别

车位识别可分为两个角度：

• 从停车场角度：地磁检测、摄像头检测
• 从车辆角度：摄像头、超声波；

从车辆角度视觉角度，检测车道线，市面上有些基于传统VC的方法，效果一般，还是专注于深度学习的方法。

待查阅：摄像头标定、透视变换、坐标变换

车位识别有两种思路：

• 在鱼眼图片基础上识别
• 在俯视图基础上做识别

两者在计算车位坐标，都会受到鱼眼畸变影响，不同的是，在鱼眼基础上识别，缺少了车位四个角点的矩形约束，在俯视图上识别会带有矩形约束。

自动泊车

整个自动泊车过程：

• （１）四个环视摄像头拍摄
• （２）环视图片拼接
• （３）parking slot detection【角点检测】
• （４）停车决策，路径规划

自动泊车系统（Automatic Parking System，简称 APS）的主要功能包括：车位识别、轨迹规划与路径跟踪控制。

Parking-Slot Detection：把停车位给检测出来，进行自动泊车Autonomous Valet Parking (AVP)。

AVP的具体原理为：驾驶员通过系统的人机交互界面启动泊车系统后，驾驶车辆低速行驶，此时车载环境感知传感器（如超声波雷达、视觉传感器等）开始工作，探测车辆周边的车位情况，并确定车位的相对位置以及尺寸信息；然后由系统控制单元判定车位是否可用并规划出合理可行的泊车路径，随后车辆的控制权交给泊车控制器，由控制单元向车辆执行机构发出控制信号，同时利用车辆传感器信息实时计算车辆的估计位姿，估计位姿与规划轨迹的误差作为跟踪控制的反馈信息实现轨迹准确跟踪，控制车辆按预定的轨迹泊入车位。

基于超声波雷达进行车位的识别，其原理是利用雷达接收回波时间和波速的关系以确定车辆和障碍物的距离，进行车位探测。这种方法仅基于距离传感器，所获取的环境信息并不丰富。随着视觉传感器性能的进步和微处理器图像处理能力的提升，将机器视觉运用于智能车辆的研究也成为热点，360 全景环视技术也随之得到了较快的发展。该系统利用安装与车身前、后、左、右的 4 路鱼眼摄像头实时获取车身周边的环境信息，通过车载图像处理器进行图像的还原与拼接，并将图像在输出设备上显示出来，该系统实现了车身周围环境的无死角探测，增加了驾驶员对于盲区的监测能力，同时也可与后续的图像处理技术相结合，实现车位识别和障碍物的自动检测等功能，是自动泊车系统的重要组成部分[3]。

研究现状

国内：视觉信息的自动泊车环境感知系统的研究

• 《白中浩,周培义,王飞虎.基于视觉的车位线识别算法[J].中国机械工程,2014,25(20):2825-2829.》
  • 湖南大学周培义利用 Hough 变换与聚类方法提取车位骨架，并通过遗传算法实现对车位角位置的精确匹配。
• 《L. Li, L. Zhang, X. Li, X. Liu, Y. Shen and L. Xiong, “Vision-based parking-slot detection: A benchmark and a learning-based approach,” 2017 IEEE International Conference on Multimedia and Expo (ICME), 2017, pp. 649-654, doi: 10.1109/ICME.2017.8019419.》
  • 同济大学 Lin Zhang 等人建立了停车场停车位标识线图像数据库，对数据库中车位图像进行标注，利用基于学习的车位识别方法对车位角进行识别，并以数据库中图像进行验证。
• 《江浩斌,沈峥楠,马世典,陈龙.基于信息融合的自动泊车系统车位智能识别[J].机械工程学报,2017,53(22):125-133.》
  • 江苏大学沈峥楠通过超声波传感器探测车位深度，利用视觉传感器对车位侧方停靠车辆的轮毂进行检测，并利用模糊控制原理对传感器信息进行融合，结合经验丰富驾驶员对车位的选择规律设计了车位的识别模型，实现了对不规则车位的识别。

国外：视觉信息的自动泊车环境感知系统的研究

在环境感知方面早期的研究大多基于超声波传感器；随着软硬件性能的提升，基于视觉传感器的自动泊车系统研究也逐渐增多；基于多种传感器信息融合的环境感知方法也随之得到关注。

• 《Xu J , Chen G , Xie M . Vision-guided automatic parking for smart car[C]// IEEE Intelligent Vehicles Symposium. IEEE, 2002.》
  • 2001年，新加坡南洋理工大学的 Xu Jin 等人利用图像分割以及特征提取的方法实现了基于视觉的车位线识别。
• 《Jung H G , Kim D S , Yoon P J , et al. Parking Slot Markings Recognition for Automatic Parking Assist System[C]// Intelligent Vehicles Symposium, 2006 IEEE. IEEE, 2006.》
  • Ho Gi Jung 等人基于单目视觉传感器，提出带滤波器的 Hough 变换方法，在车位图像存在遮挡时，仍能实现对车位线的识别
• 《Suhr J K , Jung H G . Fully-automatic Recognition of Various Parking Slot Markings in AroundView Monitor (AVM) Image Sequences[M]// Fully-automatic recognition of various parkingslot markings in Around View Monitor (AVM) image sequences. 2012.》
  • Jae Kyu Suhr 等人利用安装在车上的 360 环视系统采集车辆周围的环视图，通过对车位标识线的建模匹配实现对车位的识别与跟踪
• 《Suhr J K , Member, IEEE, et al. Automatic Parking Space Detection and Tracking forUnderground and Indoor Environments[J]. IEEE Transactions on Industrial Electronics, 2016,63(9):5687-5698.》
  • JaeKyu Suhr 团队还对视觉传感器与超声波传感器的信息融合进行研究，利用视觉传感器实现对车位标识线的检测，利用超声波传感器对立柱进行检测，融合两类传感器信息实现对地下停车场中光照条件不佳场景的车位识别

国内外：轨迹跟踪控制技术

在车辆跟踪控制方面，研究起步较早，多数研究基于车辆的相对误差模型与运动学模型进行控制方法的设计。

• 《Sugeno M , Murakami K . Fuzzy parking control of model car[C]// IEEE Conference onDecision & Control. IEEE, 1984.》
  • K.Murakami 等人对驾驶员的泊车行为进行建模，以此建立模糊规则实现对泊车过程中的车辆自动控制
• 《Lee K , Kim D , Chung W , et al. Car parking control using a trajectory tracking controller[C]//International Joint International on Sice-icase. IEEE, 2007.》
  • Kooktae等人设计了开环的泊车路径规划器和基于跟踪误差反馈控制的泊车控制器，以车辆跟踪误差作为控制输入对车速与前轮转向角进行控制，成功控制小车运动到期望位姿
• 《郭孔辉, 李红, 宋晓琳, et al. 自动泊车系统路径跟踪控制策略研究[J]. 中国公路学报,2015, 28(9):106-114.》
  • 湖南大学李红设计了非时间参考的车辆过定点控制方法，以车辆纵向位移量作为控制的参考变量，减少了人为的车辆速度控制误差对于泊车结果的影响，提高了泊车的轨迹跟踪精度
• 《江浩斌, 李臣旭, 马世典, et al.智能车辆自动泊车路径跟踪的非光滑控制策略[J]. 江苏大学学报（自然科学版）, 2017(5).》
  • 江苏大学李臣旭设计了一种基于非光滑控制策略的泊车控制器，推导出车辆运动学模型的降阶子系统，结合非光滑理论得到车辆车速与前轮转角的控制率，控制器具有全局渐近稳定性，在仿真试验中，控制器能够快速减小跟踪误差，得到较好的跟踪效果

国内外：位姿估计技术

在位姿估计方面，研究成果大多集中在移动机器人领域，车辆的位姿估计方法研究则较少。

• 《Borenstein J . Measurement and correction of systematic odometry errors in mobile robots[J].IEEE Trans. on Robotics and Automation, 1996, 12(6):869-880.》
  • Borenstein J 利用里程计实现移动机器人的位姿估计，通过定位误差分析，发现轮径不等以及轴距长度的不确定性为主要的误差来源，并利用定时的绝对位置更新提高定位精度
• 《李力, 王耀南, 刘洪剑, et al. 旋翼飞行机器人视觉定位方法及系统[J]. 机器人, 2016,38(1):8-16.》
  • 湖南大学李力等人利用单目视觉传感器，通过对地面标靶的特征提取与 EPnP 的方法求解相机位姿，以实现对飞行机器人位姿的估计
• 《罗真, 曹其新. 基于视觉和里程计信息融合的移动机器人自定位[J]. 机器人, 2006,28(3):344-349.》
  • 上海交通大学罗真等人利用视觉传感器信息与里程计信息融合的方法实现轮式机器人的位姿估计，设计了基于视觉和基于里程计的两种定位模式，利用移动机器人运动模型与里程计信息修正得出的估计结果，减小基于视觉的估计结果的不确定性
• 《罗勇, 陈慧. 基于 EKF 的自动泊车系统位姿估计算法设计[J]. 山东交通学院学报, 2013,21(4):26-30.》
  • 同济大学罗勇利用车辆两后轮的轮速传感器信号与前轮转角信号，通过扩展卡尔曼滤波算法对车辆的位姿进行估计，实现较高的车辆位姿估计精度，并将方法利用到自动泊车系统中

国内外：基于车位角检测的标识线识别方法

• 学者 Suhr J K 提出一种分层树结构的车位线识别算法，利用不同车位角模型建立分层树结构识别车位，是一种基于车位角识别的方法，但这种方法是利用分类器对图像进行分类判别图像是否属于车位角，并不能对图像进行准确的定位。
• 《Lin Z , Junhao H , Xiyuan L , et al. Vision-based Parking-slot Detection: A DCNN-basedApproach and A Large-scale Benchmark Dataset[J]. IEEE Transactions on Image Processing,2018:1-1.》
  • 同济大学张琳提出一种基于 DCNN 神经网络的方法，利用基于 360 环视系统获得的大量车位线的车位角图像作为样本进行训练，识别出图像中的车位角，识别目标车位，该方法不依赖完整的车位直线，利用了机器学习的方法，以车辆环视系统的图像中标注出车位角所在位置作为样本训练模型，通过训练好的模型来检测图像中的车位角的位置，但需要基于大量样本的训练过程，且在线识别过程要经过一个辨识模型才能得出结果，这对实时性和硬件性能有很高的要求
• 《Lee S , Hyeon D , Park G , et al. Directional-DBSCAN: Parking-slot detection using aclustering method in around-view monitoring system[C]// 2016 IEEE Intelligent VehiclesSymposium (IV). IEEE, 2016.》
  • 学者 Soomok Lee 等人也提出一种基于线段聚类的车位识别方法，该方法不同于多数研究中使用 Hough 变换或是 Harris 角点检测等方法进行特征提取，而是基于 dbscan 的线段检测方法，能够很好的提取短线段实现对车位角的检测，这种方法特别适用于 360 环视泊车图像中，并且能够对不同类型的停车位进行识别。
• 利用图像处理方法对摄像头采集的图像进行相应的图像预处理，以图像梯度的方向信息作为匹配的依据，采用高斯加权的余弦距离作为相似性度量，设计了一种基于车位角识别的快速高效且准确率较高的车位识别方法

【论文速读】AVP-SLAM

• 【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM
• 【Github】AVP-SLAM-SIM
• 【arXiv】AVP-SLAM: Semantic Visual Mapping and Localization for Autonomous Vehicles in the Parking Lot
• 【演示视频】https://youtu.be/0Ow0U-G7klM
• 【paperswithcode代码】

参考

• 全志T5芯片简介，车规级通用型SoC
• 自动驾驶-基于深度学习的停车位检测(parking-slot detection)算法整理
• 自动驾驶（三十三）---------车位识别
• 【github】awesome-parking-slot-detection
• 自动驾驶（五）---------车辆运动学模型
• 自动驾驶（七十五）---------几种硬件平台对比
• ARM Cortex-A系列处理器性能分类大比较！

文章来源: recclay.blog.csdn.net，作者：ReCclay，版权归原作者所有，如需转载，请联系作者。

原文链接：recclay.blog.csdn.net/article/details/118489258