您好,欢迎来到中国自动驾驶高精地图产业创新发展论坛2019!

基于图优化的视觉辅助GNSS/INS紧耦合

发布日期:2020-08-04

组合定位研究组 hdmap 今天 

手机阅读

点击上方蓝色字体,关注我们



编者按:GNSS/INS组合定位是当前智能车辆的主流定位方式。但在城市的高层建筑密集区域,不可避免的多路径效应和非视距接收将导致GNSS的定位精度严重下降。GNSS/INS松耦合系统可以使用故障检测等方式排除异常的观测数据,但缺点是完全不能利用异常阶段的GNSS数据;GNSS/INS紧耦合系统直接处理伪距数据,因而可以利用视觉信息判断各卫星伪距信号的可用性,具有更高的定位精度。此文采用因子图的方式融合GNSS与INS数据,充分利用历史数据以降低异常数据的影响。

本文译自:
“Tightly Coupled GNSS/INS Integration via Factor Graph and Aided by Fish-Eye Camera”,IEEE TRANSACTIONS ON VEHICULAR TECHNOLOGY
原作者:

Weisong Wen, Xiwei Bai, Yin Chiu Kan, and Li-TaHsu

原文链接:

https://ieeexplore.ieee.org/document/8853328


摘要:GNSS/INS组合定位在过去的几十年中得到了广泛的研究,但其性能在很大程度上取决于环境条件和传感器成本。在开阔区域中,GNSS定位可以获得令人满意的性能。但由于多径效应和非视距接收,在高度城市化的地区,其精度可能会严重下降。过多的GNSS离群值将导致GNSS/INS组合定位的显著误差。本文建议使用鱼眼相机捕获天空视图图像,以区分视距(LOS)和非视距(NLOS)的GNSS测量。此外,原始INS和GNSS测量通过概率因子图的方式进行紧耦合。除了剔除NLOS测量外,本文还通过对NLOS和LOS进行不同的加权处理来利用它们。在香港典型城市峡谷中进行的实验表明,与传统的GNSS/INS相比,该方法可以有降低GNSS异常值的影响,同时提高了GNSS/INS组合定位的准确性。

关键词:GNSS,INS,相机,融合,因子图,定位,自动驾驶



1

引言


在过去的十年中,自动驾驶汽车(ADV)[1]和无人机(UAV)[2]等需要精确定位服务的应用不断增长。目前,全球导航卫星系统(GNSS)[3]是提供全局参考位置的主要手段。在开阔区域,多星座GNSS可以提供令人满意的性能,但在香港这样高度城市化的城市中,定位误差可能高达50米[4]。惯性导航系统(INS)可以提供高频加速度和角速度测量。但是,INS可能会长期漂移。因此,由于其互补性,通常将GNSS[5]~[8]与惯性导航系统(INS)集成在一起。但建筑物[9]和动态物体[10]引起GNSS信号阻挡和反射,其导致的多径效应和非视距(NLOS)接收[11]造成了过多的GNSS异常值,严重影响了组合定位的精度。

图1 GNSS定位离群点:不同GNSS定位方法在香港不同城市场景下的性能说明。NMEA表示GNSS接收机提供的解决方案。差分GNSS和RTK是GNSS开源代码RTKLIB[47]提供的**解决方案。

GNSS/INS组合方式在[12]中详细回顾,包括松耦合[13],紧耦合[14]和超紧耦合[15]三种组合方式。紧耦合和松耦合的主要区别在于使用GNSS的测量值不同:松耦合采用位置和速度信号,而紧耦合采用伪距或伪距率等原始信号。相比于松耦合,紧耦合拥有更好的性能。

对于GNSS/INS的改进,目前主要有组合框架和信号处理方法两个分支。

组合框架:卡尔曼滤波器[16,17]通常用于GNSS/INS,其通过当前时刻的预测和观测来获得**估计,但无法充分利用历史状态和观测的信息。最近因子图[18]被用于松耦合[19]和紧耦合[20]GNSS/INS,其结果表明基于因子图的紧耦合GNSS/INS具有更好的性能[20]。主要原因是基于因子图的GNSS/INS利用历史信息来估计**状态,可以增加对GNSS异常值的抵抗力。但这取决于GNSS测量的不确定性估计。基于仰角和基于信噪比(SNR)的模型[21]无法有效地对NLOS接收的不确定性进行建模。

信号处理方法:
有研究人员提出新的信号处理方法,如灵敏度跟踪环[22],协同GNSS定位[23,24],3D地图辅助GNSS(3DMA GNSS)[25]~[29],LiDAR辅助GNSS[10,11]和相机辅助GNSS [30,31]等。3DMA GNSS将测得的卫星可见度与假设位置的预测卫星可见度进行匹配[32]-[34],来排除或校正NLOS信号。LiDAR辅助GNSS同样通过排除[10]或校正[11]NLOS信号来有效地改善GNSS定位。但由于LiDAR的视场(FOV)受限制,只能检测一部分NLOS信号。有研究人员采用了全向和鱼眼相机[30],[39]~[44]来检测天空景象,据此判断NLOS和LOS信号。根据我们在[45]中的研究,NLOS排除反而会增加密集城市中GNSS的定位误差。因此直接排除NLOS不适用于城市峡谷中的应用。

为解决NLOS信号的建模问题,本文提出使用鱼眼相机检测NLOS接收,使用因子图将GNSS/INS紧耦合。除了排除NLOS接收外,本文还通过对NLOS和LOS进行不同的加权处理来利用它们。最后,我们在香港典型的城市地区验证了该方法的有效性。

2

方案总体架构


方法的流程图如图2所示。首先,使用鱼眼相机捕捉天空图像。应用图像分割将天空视图分为天空区域和非天空区域。借助于姿态和航向参考系统(AHRS)提供的全局参考航向角,该系统是INS和磁力计集成的系统。天空视图图像的坐标可以转换为当地坐标。本文中使用的AHRS是9轴产品,由加速度计,陀螺仪和磁力计组成。可以输出**方向。其次,可以基于变换后的二进制图像对LOS / NLOS卫星进行分类。第三,使用加权方案估计LOS/NLOS测量的潜在不确定性。最后,原始INS测量(包括原始LOS和NLOS卫星测量)均使用概率因子图模型进行紧耦合。
图2 基于鱼眼相机的GNSS/INS系统流程图,包括传感、建模和优化。

本文的主要贡献如下:
1)本文使用相机对LOS/NLOS测量值进行分类,以进一步对LOS和NLOS卫星进行加权。
2)本文采用了**的因子图来集成GNSS/INS。
3)本文评估了香港城市峡谷中多星座GNSS和紧耦合的GNSS/INS的性能。

3

LOS/NLOS分类


A.基于鱼眼相机的LOS/NLOS分类

鱼眼相机拍摄的天空图像可以有效地表示周围物体的几何分布,例如建筑物,高动态车辆和树木等。要使用天空图像识别LOS/NLOS,需要执行以下四个步骤,如图3所示:1)借助AHRS的航向角将原始天空图像从局部坐标转换为载体坐标[3]。2)分割天空视图图像并将天空和非天空区域分开。3)根据卫星仰角和方位角将卫星投影到分割的图像上。4)根据分割后的图像和图像中的卫星位置识别卫星可见度。

图3 用鱼眼相机对卫星能见度进行分类的方法说明。四个步骤是:a)从局部坐标到载体坐标的转换;b)天空和非天空区域的分割;c)卫星在图像坐标中的投影;d)卫星可见性的识别。


B.LOS/NLOS 不确定性建模

根据来自GNSS接收机的测量结果,每个伪距测量值ρ如下[50]:

其中,是卫星到GNSS接收机的空间距离,分别代表接收机卫星的时钟偏差,代表电离层延代表对流层延迟,代表多路径效应、非视距接收、接收机噪声和天线延迟等造成的误差。电离层延迟和对流层延迟可以使用特定模型建模[51]。因此,伪距测量中的大部分不确定性是由中的多径效应和NLOS接收引起的。具有较低仰角和较小信噪比的卫星更容易受到NLOS误差的污染[4]。因此,在[21],[52]中研究了基于卫星仰角和信噪比的伪距不确定性建模。[52]中的加权方案在开阔地带表现出令人满意的性能。但是,该方案可能不适用于稠密的城市,因为NLOS可以具有较高的仰角和SNR,这可以在我们先前的文献[41]中看到。而且,该加权方案以相同的方式处理LOS和NLOS,这在识别NLOS时不是优选的。文献[21]中的加权方案采用比例因子来处理具有不同加权的LOS和NLOS。受此启发,本文提出使用[52]中的加权方案对LOS和NLOS的不确定性进行建模,并在该方案中添加比例因子,以不同的方式处理LOS和NLOS。假设SVi代表了卫星i并且代表卫星方位角,代表卫星俯仰角,代表卫星信噪比,代表测量值。[52]中的加权方案如下所示:

其中,参数T表示信噪比的阈值,参数a、A和F在实验中确定。对于LOS和NLOS采用相同的公式,我们使用一个比例因子来区别对待这两者:

至此,卫星可见性与相应的不确定度建模就完成了。


4

基于因子图的GNSS/INS融合




通常,多传感器融合的目标是根据传感器的测量结果找到**后验状态。因此,传感器融合问题可以表述为典型的最大后验(MAP)问题[53]。在本文中,测量包括两部分,GNSS原始测量和INS测量。假设GNSS测量值和INS测量值彼此独立。我们可以将GNSS/INS融合问题表述为:

其中,代表时间段t内的GNSS原始测量,而代表时间段t内的系统状态。表示输入控制(INS测量),是**的系统状态。传统基于贝叶斯滤波器的传感器融合方案[54]应用了一阶马尔可夫假设[54]。GNSS/INS融合问题的公式为:

主要区别在于基于Bayes滤波器的方法仅考虑以下因素即可找到当前状态的**估计:1)最后状态。2)在当前时期控制输入和测量。它没有充分利用历史信息。相反,[19]研究了基于因子图的传感器融合,将MAP问题转换为非线性优化问题。它将所有传感器测量值视为与特定状态(节点)[19]关联的约束(边缘)[19]。根据[18],MAP问题可以表示为:

其中是测量相关的因子,X代表了从初始到当前时刻的状态。假设所有传感器的噪声均是高斯分布,的负对数与测量相关的误差函数[18]成正比。

图4 使用因子图表示的GNSS/INS图结构

所提的GNSS/INS融合方案的图结构如图4所示。在图4中,黑色阴影矩形表示INS因子。红色和绿色阴影矩形分别表示LOS和NLOS卫星。蓝色阴影框表示状态转换因子。浅绿色阴影框表示惯性导航加速度计和陀螺仪零偏。图4中的图包括所有历史观测测量和状态,这是传统的基于卡尔曼滤波的传感器积分[55]和基于因子图的传感器积分之间的主要区别之一。

A.运动模型因子
我们使用恒定速度模型来约束两个连续的节点(状态)。基于等速模型,状态转换(运动模型)可以表示为:

其中,代表系统状态,代表运动模型方程,代表运动噪声的协方差矩阵。系统状态为位置、速度、姿态、IMU偏差和接收机时钟偏差构成的16维向量。基于等速运动模型,运动模型函数可以表示为:

因此,运动模型因子的误差方程可以表示为:


B.INS因子
由于本文所采用的惯性导航系统是一个9轴产品,它可以提供加速度测量、角速度测量和磁力计测量。此外,还可以提供相对于当地坐标系的方向。IMU的测量结果如下:
其分别代表三轴姿态、速度和加速度测量。由于状态向量是在地心地固坐标系下,我们还需要将加速度测量值从载体坐标系转换为全局坐标系:
对于加速度测量的误差方程可表示为:

类似的,陀螺的误差方程为:

此外,INS提供了当地坐标系下的方位测量,因此AHRS测量的误差如下所示:

最后INS的误差方程如下所示:

 
C.GNSS伪距因子
预测的GNSS伪距测量可以表示为:

本文利用文献[52]中的模型,提前计算了地球自转和大气延迟。测量伪距可以表达为:

其中是特定卫星的不确定度。LOS和NLOS的不确定度在第三节中进行了分类。此,我们可以计算卫星测量的误差方程


D.有效的增量优化
对于传统的GNSS单点定位,加权最小二乘法[3]是利用给定时刻k的所有卫星测量值,得到GNSS接收机位置的**后验估计。在本文中,我们推导了运动因子、INS因子和GNSS伪距因子。因此,**状态可以由下式求解:

为了解决这个优化问题,本文利用GTSAM[56]中的ISAM2[18]。利用ISAM2的高效增量式优化特性[18],可以进行实时优化。

 

5

仿真与实验验证


在典型的城市峡谷中进行了两次实验,均使用了u-blox M8T GNSS接收机,以1Hz的频率收集原始GPS /北斗测量值。使用指向天空的鱼眼相机以10 Hz的频率捕获天空图像。Xsens Ti-10 IMU用于收集100 Hz频率的数据。此外,一个RTK/INS组合定位系统NovAtel SPAN-CPT用于提供定位的地面真值。

实验一:
利用传统的基于EKF的紧耦合GNSS/INS获得8.31米的平均定位误差。它的轨迹偏离了一些时期的参考轨迹,如图5所示,其相应的定位误差如图6所示最大误差大于40m。利用因子图对GNSS/INS进行融合后,定位误差的平均值降低到4米左右。此外,标准偏差也从7.24m下降到3.19m,最大误差为23.1m。从图5中,大部分大的离群值被从轨迹中移除。定位误差几乎在各个时期都有所减少,如图6所示。利用鱼眼相机辅助的视距/非视距检测方法,将平均定位误差降低到3.21m。此外,标准差也降至2m以下。此外,最大误差也减少到12.3m,具有较少的离群值。           

               图5 实验一中不同融合框架下的GNSS/INS轨迹


图6 实验一中不同融合框架下的定位误差

实验二:
 轨迹及其相应的定位误差如图7和图8所示。其最大误差达到20.88m。利用因子图对GNSS/INS进行融合,平均定位误差减小到5.39m左右,最大误差为19.2m。大部分大的离群值都从轨迹中移除。在大多数时期,定位误差都会减小,如图8所示。借助鱼眼相机的视距/非视距检测和建模,将平均定位误差降低到3.05m。有趣的是,我们可以发现图8中的蓝色曲线在第20片段达到峰值,并用绿色箭头进行了注释,其主要原因是视距/非视距测量的错误分类。实验结果再次显示了提出的方法与EKF相比能有效地去除异常点。

实验二中不同融合框架下的GNSS/INS轨迹

实验二中不同融合框架下的定位误差


 

6

结论


由于GNSS/INS城市地区遭受了过多的GNSS异常值,本文建议使用基于因子图的紧耦合GNSS/INS。此外,我们使用鱼眼相机检测NLOS接收,以便可以对GNSS异常值进行建模。本文不剔除NLOS接收,而是通过对NLOS和LOS进行不同的权重处理来使用它们。实验表明,与传统的基于EKF的GNSS/INS紧耦合相比,该方法可以有效提高GNSS/INS的性能。

参考文献

END




联系人:李老师  



电话:021-69589225

邮箱:11666104@tongji.edu.cn



相关文章

高德KDD2020论文解读|混合时空图卷积网络:更**的时空预测模型




SELECTED EVENTS




 

长按二维码识别关注



我就知道你“在看”


  • 电话咨询
  • 021-22306692
  • 15021948198
None