您好,欢迎来到中国自动驾驶高精地图产业创新发展论坛2019!

Waymo正在使用AI模拟自动驾驶汽车摄像头数据

发布日期:2020-05-22

GRCC自动驾驶测试验证技术创新论坛


2020-05-22 13:49:38



手机阅读



点击上方蓝色字体,关注我们



Waymo表示,它开始利用AI通过自动驾驶汽车产生的传感器记录来生成数码相机照片进行仿真。由公司研究人员与最重要的科学家德拉戈米尔·安格洛夫(Dragomir Anguelov)合着的当代论文描述了SurfelGAN方法,该方法利用纹理贴图的地板组件来重建场景和数码相机视点的位置和方向。


像Waymo这样自力更生的汽车公司使用仿真环境来指导,检查和验证其技术,而不是将这些技术部署到实际车辆中。设计模拟器以及模拟中级对象表示有很多策略,但是基本的模拟器忽略了场景锻炼必不可少的线索,例如行人手势和闪烁的灯光。至于Waymo的CarCraft等额外复杂的模拟器,它们的计算难度很大,因为它们试图极其正确地键入面料以验证激光雷达和雷达等传感器的行为是否真实。


在SurfelGAN中,Waymo提出了一种更有效的,数据驱动的方法来模拟传感器记录。AI利用现实世界中的激光雷达传感器和摄像头的提要,创建并保留了有关场景中所有项目的三维三维几何,语义和外观的丰富细节。进行重建后,SurfelGAN可以从多个距离和多个视角渲染模拟场景。


上图:第一栏显示的是Surfel照片(下面是其他图片),位于新颖视图下方,第二栏是SurfelGAN的合成结果。第三列是唯一视图。


符号信用评分:Waymo


Waymo发言人通过电子邮件向VentureBeat表示:“我们已经采用了一种全新的方式,使我们能够生成合理的数码相机照片进行仿真,而不会延迟使用自动驾驶汽车产生的传感器记录。” “在模拟中,当自动驾驶汽车和不同经纪人(例如,不同的车辆,骑自行车的人和行人)的轨迹进行调整时,小工具会生成合理的可见传感器记录,这有助于我们在**的环境中键入场景……部分 的小工具正在制造中。”


SurfelGAN

SurfelGAN使用了所谓的纹理增强型表面元素地图的场景表示方法,这是一种紧凑、易于构造的场景表示方法,既可以保留传感器数据,又可以节省可负担的计算能力。Surfels(“底部组件”的缩写时间段)构成带有保护照明设备数据的光盘的项目。Waymo的方法将通过激光雷达扫描捕获的体素(定义3D区域中问题的图形数据小配件)转换为具有从数码相机记录中估计的颜色的surfel光盘,然后对surfel进行后处理以处理照明设备中的排列 和姿势。




为了处理诸如汽车之类的动态物品,SurfelGAN还采用了Waymo开放数据集(Waymo的自动驾驶汽车传感器日志的开放供应语料库)中的注释。收集来自激光雷达对热情项的扫描的知识,以便在模拟中,Waymo可以生成可能位于任何位置的车辆和行人的重建,尽管其几何形状和纹理不**。


SurfelGAN内部的一个模块(一个生成的对立社区(GAN))负责将Surfel符号渲染转换为逼真的照片。它的生成器方式使用分布的随机噪声采样来生成人工示例,再结合教练记录集中的真实示例,将其提供给鉴别器,从而尝试区分2个。涡轮机和鉴别器使各自的才能更强直到辨别者无法以高于50%的预期概率准确度从合成示例中告知真实示例。




SurfelGAN模块以无管理类型训练,这意味着无论识别出的结果,分类的结果或带注释的结果,SurfeGAN模块都可以推断语料库内部的模式。有趣的是,每当鉴别器正确地识别合成示例时,就会告诉生成器如何调整输出,从而更加真实。


有希望的影响


Waymo进行了一系列的实验来衡量SurfelGAN的效率,为它提供了798个训练序列,包括20秒的digicam记录(来自5个摄像头)和lidar记录,以及Waymo开放数据集中汽车、行人和骑自行车者的侧边标注。SurfelGAN团队还创建并使用了一个全新的记录集,称为Waymo Open Dataset Novel View(Waymo Open Dataset Novel View),该视图缺少digicam照片,但它从场景开始,并将来自digicam姿势的surfel照片从当前姿势的扰动中呈现出来,以便为真实记录集中的每个个体创建一个新的surfel符号。(扰动源于使用随机平移和偏航姿态。)


尽管如此,Waymo积累了更多的序列——总共9800张,每张100帧——未标注的digicam照片,并构建了一个称为双数码相机提交数据集(DCP)的语料库来测量SurfelGAN生成的照片的真实性。DCP提供了两辆车在同一时间应用相似场景的情况;Waymo使用来自第一辆车的记录来重建场景,并在第二辆车的实际姿势上渲染Surfel照片,生成1000对以判断像素精度。



该文件的共同作者说,在将SurfelGAN生成的照片提供给现成的汽车检测器后,**质量的合成照片完成了与真实照片相当的指标。SurfelGAN还在DCP中最敏感的Surfel渲染上取得了进步,生成的照片在各种距离上都接近真实照片。此外,研究人员证明,SurfelGAN的照片可能只会使汽车检测器的典型精度(即其他样品的估计相互接近)从11.9%提高到13%。


Waymo指出SurfelGAN并不是**的。例如,由于损坏的几何形状,这种情况很少会出现,从而导致外观不切实际的汽车外观。而且在没有Surfel提示的情况下,AI会显示出最大的差异,特别是当它试图使数据集中异常的模式幻觉时,例如高大的构造。尽管如此,该公司的研究人员认为,这是长期动态对象建模和视频技术仿真技术的坚实基础。


发言人说:“模拟是自动驾驶时代发展的关键工具,它使我们能够从我们超过2000万英里的自给自足里程中选择并重播最有趣和最复杂的情况。” “在这种情况下,(使用SurfelGAN等方法)正确模拟汽车传感器的设施至关重要。”






相关文章

Waymo宣布再融资7.5亿美元 首轮融资扩大到了30亿美元

Waymo开始逐步恢复自动驾驶车队:率先重返凤凰城
Waymo自动驾驶模拟器每天都在做一个世纪的驾驶











SELECTED EVENTS









 

长按二维码识别关注





  • 电话咨询
  • 021-22306692
  • 15021948198
None