您好,欢迎来到中国自动驾驶高精地图产业创新发展论坛2019!

论文阅读:点云地面标志自动提取、分类、矢量化

发布日期:2020-05-17

GRCC hdmap 今天 

手机阅读

点击上方蓝色字体,关注我们

今天介绍一篇基于激光点云做路标提取,分类和矢量化的论文《Automated Road Markings Extraction ,Classification and vetorization From Mobile Laser 》。最近有所研究,感觉帮助比较大。在之前的博客中我们介绍了Lanelet2地图框架的原理及其使用,从整个高精地图制作流程上来说,Lanelet2只能说是完成了地图数据存储索引以及和规划等模块的对接作用。Lanelet2的地理和几何数据来源于激光点云/图像检测出来的路标,和红绿灯等元素。

image-20200314113101877

基于点云反射强度提取路标是目前的主流方法,优势是精度高。当然也可以用图像去做,图像本身分割出来的路标等元素是比较准的,但是由于时间同步和相机标定等原因,转化成地理坐标之后必然会损失一定的精度,所以最终不太准,只能作为辅助方式。目前大公司一般都基于点云和图像融合的方法来完成这部分的提取工作。

 个人认为本文的精华还是在于对矢量化部分的一个详细的补充和阐述,这部分的工作目前是没有什么论文可以参考的。

综述

本文的主要贡献

  1. 根据点云的密度、高程和反射强度从点云中生成多幅地理参考图像。采用中值滤波、Sobel算子和最大熵阈值等图像处理方法,不需要预先提取路面,即可从图像中检测出标记像素。

  2. 构建了道路标志分类的层次结构。首先根据边界框信息对规则的道路标志进行分类。在此基础上,提出了一种新的配准方法,利用模型匹配策略对非规则道路标记进行分类,使不完整的道路标记也能得到正确的分类。

  3. 基于道路标记的边界框信息和模型匹配的对齐结果,有效地对道路标记进行矢量化,弥补了道路标记检测主题上的矢量化部分部分的空白

方案流程

Ground Filter

参考文章:

Yang, B., Huang, R., Dong, Z., Zang, Y., 2016. Two-step adaptive extraction method for ground points and breaklines from lidar point clouds.

Geo-referenced Image Processing

整体的workflow如下:

image-20200311191838221

沿着激光雷达的轨迹将MLS点云分成若干块。非地面点和地面点都投影到水平面上,然后用平均点间距计算出的分辨率进行栅格化。每个块生成三个灰度地理参考图像(高程、强度和点密度图像)。对于每个网格,将三幅图像的灰度值分别计算为非地面点的平均Z值、地面点的平均反射强度和地面点的个数。采用中值滤波去噪,利用Sobel算子从高程图像中提取坡度(仰角梯度)图像,从强度图像中提取强度梯度图像。然后,应用最大熵阈值法(Pun, 1980)生成斜率二值图像和点密度二值图像。斜率和点密度高于阈值的像素赋值为1。其次,强度梯度图像中只保留坡度二值图像中对应像素值为0、点密度二值图像中对应像素值为1的像素。通过该操作,粗略提取道路像素,剔除坡度较大、点密度较小的非道路像素。然后利用最大熵阈值法对道路强度梯度图像进行二值化处理,粗略地将值为1的像素点视为道路标记边界像素点。地理参考图像处理过程如图3所示。
尽管路标的反射强度将很多不同范围、不同入射角和道路材料的梯度强度的单块点云是大致相同的道路标记边界这一阈值足够标记检测的边界。最大熵阈值法无监督地选择阈值,实现图像直方图后验已知熵的先验最大化。结果表明,在Otsu和GMM等常用的阈值化算法中,最大熵阈值化的****。然后通过区域增长填充封闭的道路标记边界,检测候选道路标记像素,如图2(c)所示。

Road markings pointcloud segmentation and refinement

在此步骤中,从所有块的地理参考图像的候选道路标记像素中检索候选道路标记点云。如图2(d)所示,利用条件欧氏聚类方法,通过连通分量分析(Connected Component Analysis, CCA)将融合点云进一步分割成孤立的目标。对点间距小于阈值的连通分量进行滤波。对于每一个孤立的道路标志点云,我们首先根据点强度应用Otsu阈值(Otsu, 2007),并保持较高强度的点,以细化道路标志,消除地理参考图像的锯齿效应。根据Eq.1进行阈值计算,pRM和pRS的概率是路标和路面点提供的作为阈值G,而µRM和µRS是他们的平均值。

image-20200311192807130

为了减小噪声点的影响,采用了统计离群点去除器(SOR)(Radu, Steve, 2011)来去除几何离群点。

image-20200311193114714

Road markings point cloud classification

这一步中,每个路标对象根据其边界框信息被分为几类,如边界线、矩形道路标记和菱形行人警告标记。计算了边界盒的边长、对角线、对边比等几何特征,并将其作为粗分类准则。

其他不规则道路标记则根据模型匹配方案进一步分类。首先,利用alpha-shape算法提取每个非分类道路标志的边界点。对于每一个典型的数据集,如公路、城市高速公路和城市辅助道路,我们都会保存几个典型的清晰完整的道路标记(如图4所示)作为模型进行匹配。

image-20200311195356755

然后,用预定义的点间距对边界点进行子采样。然后根据相邻点的空间排列,为每个点生成2D BSC(Dong et al., 2017)描述子。然后,我们应用迭代的全局相似点(Pan et al., 2018)算法对目标和模型的道路标线等高线点云进行粗到精的配准。该算法在迭代对准过程中同时考虑了特征和几何距离。对每个模型点云进行配准,估计目标与模型的重叠率。如果重叠率**的模型小于60%,则从候选道路标记列表中剔除目标,或者以重叠率**的已注册模型作为目标类别。以图5为例,其中最左边的道路标志在配准后重叠率**,从而产生了正确的分类和准确的定位。

采用对象上下文校正器。每一个分类道路标记,其类别可能会根据其最邻近的K个道路标记的类型进行更正。最后确定分类结果,如图2(e)所示。

image-20200311195429816

Road markings serialization and vectorization

在这个过程中,破碎的边界线被序列化,并在两个端点之间的预定距离和两个破碎边界线的向量之间的夹角下重新连接。之后,所有分类的道路标记都被矢量化为闭合或非闭合折线,如图2(f)所示。对于长边界,用从局部曲率计算出的距离采样点。曲率越大,采样点越多。采样的节点以折线连接进行矢量化。对于根据模型匹配分类的不规则道路标记,闭合折线模型的位置和方向由对齐结果决定。
为了节省模型匹配的时间,类型的数量应该尽可能的少,这样我们就可以在模型存储库中只保存一个方向(向右)的模型。然后根据模型的最终变换矩阵判断道路标线的真实方向。根据道路标线模型的规范,根据道路等级和政府规定生成封闭的折线模型,给出原点位置和方向。生成了三个主要的层(边界线层、矩形标记层和箭头标记层),每个分类的道路标记都由相应的层进行渲染。

实验结果

作者在城区和高速两个特定场景下测试,测试集为Highway 1, Highway2, Urban road 1 and Urban road 2这些数据集的特点和挑战如下所示。1号公路数据集中有一个复杂的收费区域。2号公路数据集中涉及两个高速公路出口。城市道路1数据集的路面被街道树木严重遮挡。城市道路2数据集有相当多的类别的道路标志,它是四个数据集中最长的一个,超过6公里的长度。

定性的评估:

如图6和图7所示,对于高速公路和城市道路,本文提出的方法成功地检测出道路标记点云,并将其划分为几个典型类别。但也存在一些典型的误检测和误分类。如图6和图7所示,由于两个虚线矩形之间的连接性,它们被检测为相邻边界线的一部分。图6展示了高速公路的工具区。由于这里的道路相对较宽,点密度不足以检测到正确的边界线。在城市道路方案中,部分边界线被街道树木以及停车和移动的车辆遮挡。此外,该方法还可以检测和分类路面上的一些类似于标记的冗余目标。

image-20200311203418347

分别对高速公路和城市道路场景的路标点云提取质量、分类有效性和矢量化精度进行评估,评估结果如下:

道路标记提取评价:

为每个数据集随机选择一个块,对提取质量进行评价。对于每个实验区块,使用CloudCompare软件,人工选择并分割地面真道标记点(真正点TP和假阴点FN)。将该方法检测到的道路标记点(真阳性点TP和假阳性点FP)与地面真值进行比较,得到重叠点(真阳性点TP)。然后,基于recall, precision, F1-score,建立道路标志提取的准确性评价机制,计算公式为公式2、公式3和公式4。实验结果如表1所示。值得注意的是,该方法提取道路标志的F1−score值高于高速公路的0.96,高于城市道路的0.92。

image-20200311203728338

image-20200311203947710

道路标志分类评价:

为了评估分类的有效性,我们对2号公路数据集和1号城市道路数据集进行了混淆矩阵表2和表3的计算。道路标记的每个类别的地面真值数是根据整个数据集的所有检测到的道路标记手动计算的。需要说明的是,本实验是在对象上下文校正后,断续边界线序列化和重连之前进行的。矩形道路标记由虚线中心线和斑马线组成。“Arrow”1-4表示图4中最左边的四种道路标记,“菱形”表示行人警告道路标记。

image-20200311204425471可以看出,2号公路数据集的总体分类精度和查全率高达0.92,1号城市公路数据集的总体分类精度和查全率高达0.85。大多数的错误分类发生在矩形路标和边界线上,提出的方法很难区分短虚线和短虚线。尽管采用了上下文校正器,但仍存在一些模糊情况。与高速公路场景相比,考虑到道路标记的丰富性、不完全性和不规则性,城市道路更具挑战性,从而使得该方法在高速公路数据集上具有更好的性能。

image-20200311204409055

道路标识矢量化化评价:

图8展示了1号公路数据集上的矢量化模型部分。对于每个数据集,手动选择道路标记的50个角点,并记录它们的全局坐标,以便与矢量化模型中的相应坐标进行比较。如表4所示,利用上述50角点对计算出的均方根误差(RMSE)来评估向量化的准确性。

image-20200311204322735

时间性能分析:

对算法每一步的运行时间进行时间效率评估。如表5所示,T1、T2、T3和T4分别表示数据导入和地面滤波过程、图像处理过程、点云处理过程和分类过程的耗时。T是总消耗时间。结果表明,在城市道路数据集上,该方法耗时较长。这是由于城市道路模型库规模较大,导致模型匹配耗时较长。由于效率和精度通常是一种权衡,为了加快整个过程,应该设置更大的网格大小和估计的点间距。

image-20200311204510669

密集ALS数据应用:

在较高密度(> 50点/ m2)的机载激光扫描(ALS)点云上进行了进一步的实验,实验结果与MLS点云具有相似的性能。需要指出的是,只有强度和高程的地理参考图像被用来检测道路标记像素。

总结

本研究的重点在于从激光点云中提取、分类和向量化道路标记的整个过程。在不考虑路面先验知识的情况下,从地理参考图像中有效地检测出道路标志像素。然后在三维框架下对道路标记点云进行分割和细化。利用边界几何特征和基于点云配准的模型匹配策略,实现了道路标记的分类。最后,对分类道路标志进行了序列化和矢量化。
在今后的工作中,我们将努力将深度学习应用到工作流程中。候选道路标记像素将通过UNet或全卷积网络从强度、高程和点密度的地理参考图像中检测出来。此外,我们还可以利用神经网络来完成由于遮挡和之前操作错误的提取和过滤而导致的不完整道路标记的恢复


文章作者:胡想成

发布时间:2019年08月23日 - 09:08

最后更新:2020年03月14日 - 11:03




相关文章

基于视觉的高精地图制作
高精度定位与导航系统 .ppt
车辆高精地定位白皮书






SELECTED EVENTS




 

长按二维码识别关注



  • 电话咨询
  • 021-22306692
  • 15021948198
None