新智驾按:本文为雷锋网新智驾会员计划的试读内容。想了解更多新智驾会员计划详情,请点击链接了解:https://www.leiphone.com/aidrive。
去年6月,新智驾联合雷锋网· AI慕课学院、网易云课堂企业版举办了智能驾驶系列讲座,邀请业界、学界顶尖专家一起分享关于自动驾驶现在与未来的多样见解。在这一次的分享上,我们邀请到来自高德地图的谷小丰讲解主题为《高精地图:自动驾驶的必由之路?》的课程。新智驾对课程内容进行了整理与不改变愿意的编辑。
嘉宾介绍
谷小丰,高德高精地图团队负责人。具有10年的地图数据产品经验,2.5年高精地图数据量产经验。带领高德高精地图团队获得亚太地区第一个,也是全球第二个高精地图商业订单,并建设完成完整的高精地图生产线。
前言
高德在2014年便开始了高精地图的研发,当年11月,这家公司拿下了亚太地区第一个,也是全球第二个高精地图商业化订单。有了商业订单的驱动,高德在高精地图上的步伐走得很快,从深度学习技术的使用到量产生产线的建设,进展不断加快。将近3年时间过去,高德在高精地图方面积累的数据量也非常可观。
和高德地图的整体策略一样,高德高精地图也是要为产业“赋能”,具体点说,就是要为自动驾驶提供地图支持。在大家大谈特谈自动驾驶的时候,高德默默耕耘高精地图,打造一条通往自动驾驶的必由之路。
本期,讲师谷小丰将会着重介绍什么是高精地图、高精地图与自动驾驶的关系、高精地图是如何打造的、高精地图开发中存在的挑战和思考。当然,还会提及高德在这方面的实践。
一、什么是高精地图?
在讲什么是高精地图之前,先来了解一下高精地图与自动驾驶的关系。
业界大多数企业都将自动驾驶实现的时间节点定在了2020年,当然,很多厂商仍在不断将这个时间往后延。根据目前相关的新闻报道看,可以发现的一个问题是同一家厂商内部对于自动驾驶的实现时间都存在一些矛盾,当然这完全可以理解,毕竟自动驾驶是比较新的技术,所以变数很多。
根据SAE International(国际自动机工程师学会,原美国汽车工程师学会)的划分,自动驾驶级别分为5级,也就是L1-L5。L3的应用比较典型的是高速公路上有监督的自动驾驶。
从这个级别来看,业内的共识是,L3及以上,高精地图的支持是必选项,而在L3以下的辅助驾驶阶段,对于高精地图没有刚需。比如市场上一些已经具备自动驾驶功能的车型都是依靠摄像头、毫米波雷达等传感器实
新智驾按:本文为雷锋网新智驾会员计划的试读内容。想了解更多新智驾会员计划详情,请点击链接了解:https://www.leiphone.com/aidrive。
去年6月,新智驾联合雷锋网· AI慕课学院、网易云课堂企业版举办了智能驾驶系列讲座,邀请业界、学界顶尖专家一起分享关于自动驾驶现在与未来的多样见解。在这一次的分享上,我们邀请到来自高德地图的谷小丰讲解主题为《高精地图:自动驾驶的必由之路?》的课程。新智驾对课程内容进行了整理与不改变愿意的编辑。
嘉宾介绍
谷小丰,高德高精地图团队负责人。具有10年的地图数据产品经验,2.5年高精地图数据量产经验。带领高德高精地图团队获得亚太地区第一个,也是全球第二个高精地图商业订单,并建设完成完整的高精地图生产线。
前言
高德在2014年便开始了高精地图的研发,当年11月,这家公司拿下了亚太地区第一个,也是全球第二个高精地图商业化订单。有了商业订单的驱动,高德在高精地图上的步伐走得很快,从深度学习技术的使用到量产生产线的建设,进展不断加快。将近3年时间过去,高德在高精地图方面积累的数据量也非常可观。
和高德地图的整体策略一样,高德高精地图也是要为产业“赋能”,具体点说,就是要为自动驾驶提供地图支持。在大家大谈特谈自动驾驶的时候,高德默默耕耘高精地图,打造一条通往自动驾驶的必由之路。
本期,讲师谷小丰将会着重介绍什么是高精地图、高精地图与自动驾驶的关系、高精地图是如何打造的、高精地图开发中存在的挑战和思考。当然,还会提及高德在这方面的实践。
一、什么是高精地图?
在讲什么是高精地图之前,先来了解一下高精地图与自动驾驶的关系。
业界大多数企业都将自动驾驶实现的时间节点定在了2020年,当然,很多厂商仍在不断将这个时间往后延。根据目前相关的新闻报道看,可以发现的一个问题是同一家厂商内部对于自动驾驶的实现时间都存在一些矛盾,当然这完全可以理解,毕竟自动驾驶是比较新的技术,所以变数很多。
根据SAE International(国际自动机工程师学会,原美国汽车工程师学会)的划分,自动驾驶级别分为5级,也就是L1-L5。L3的应用比较典型的是高速公路上有监督的自动驾驶。
从这个级别来看,业内的共识是,L3及以上,高精地图的支持是必选项,而在L3以下的辅助驾驶阶段,对于高精地图没有刚需。比如市场上一些已经具备自动驾驶功能的车型都是依靠摄像头、毫米波雷达等传感器实现一定程度的自动巡航功能。
1、定义
回到高精地图本身,这个名称的提法本身就不是很严谨。比如说,大家在提导航地图的时候,你很难说它就是“低精地图”。
其实,高精地图是从国外引进的一个名词,英文名HD Map(high definition map),直译过来就是高分辨率地图。
还有人将这种类型的地图命名为HAD Map,直译过来就是高度自动驾驶地图(highly automated driving map)。其实这个名称也不是很准确,因为很难说高度自动驾驶是从L3开始的还是从L4开始的。
而德文对应的名称是:hoch genaue Karte,意为高可信度地图。
命名就有这么多,可以想见业内人士在提高精地图的时候实际上也不是一个概念,所以需要来定义一下到底什么是高精地图。在谷小丰看来,高精地图是一种用于自动驾驶的专题图,准确的叫法应该是“自动驾驶地图”。就像导航地图、政区图、地形图一样都是该地图关注的某一种专题内容或专题功能。
2、内容构成
换句话说,高精地图其实是提供了一个自动驾驶环境的模型。也就是说,车辆要想顺利进行自动驾驶,必须对其周边的环境进行构建,该环境中,包含了:
移动物体:行人、车辆;
互联设施:V2V、V2X等通信设施;
高精动态驾驶环境:是否拥堵、哪里在施工、哪里有事故、哪里有交通管制、哪里有雨雪等;
最底层的静态高精地图,也是目前阶段业界工作的重点。
在静态高精地图中,包含了车道模型、定位对象(static objects)、道路属性和其他的定位图层:
车道模型主要用于引导车辆从A地开到B地,包含车道的详细结构和连接关系;
定位对象是路面、路侧及上方的各种物体,包括标志标牌、路面标志、龙门架、桥、杆、牌等等;
道路属性则包括如导航图关联关系、GPS信号失锁区域等等信息。
当前典型的高精地图代表是矢量高精地图,一些新的公司也称之为语义地图。内容大体如下:
在车道模型中,也有很多重要的细节信息需要体现在高精地图中,包括车道中心线、车道线、车道变化属性点以及道路分离点和车道分离点。
比如在车道变化属性点,车辆可以通过传感器探测到相关信息,然后再对比地图,便可清晰地知道自身处在什么样的位置。而且在路径规划的时候,车辆也知道在哪个位置进行并线是合理的。此外,为了方便计算道路连接关系,还会将道路分成多个组(Sections)。
车道模型还包含车道连接关系,也就是说车辆要去往一个目的地,需要经过哪几个车道的转换才能到达。
高精地图中还有一些数学属性,包括道路的曲率、航向、坡度以及横坡。可以指导车辆执行转向、加减速。
此外,高精地图中还包含很多的定位对象(Object)用于实现车辆自定位。
自动驾驶车辆自定位的典型方案是用车端的传感器识别各类静态地物,然后将这些物体与地图上记录的物体进行比对(Map matching),比对之后车辆就得到自己在道路上的精确位置和姿态。当然还有一些特殊的地物如斑马线、停止线、红绿灯等,控制着不同的路口和不同的方向,那么在数据中,我们就需要把这些关联关系表达进去,让自动驾驶汽车在这些地方可以顺利做出决策。
有了自动驾驶以后,导航地图依然会存在,但可能会变得比今天更简单一些。比如用户乘坐一辆自动驾驶汽车去往某个目的地,那么导航会规划一条行车路径交给自动驾驶系统,自动驾驶系统会依靠高精地图再规划出一条更为精细的路线图,实现从A地到B地。其中包括在哪并线,在哪需要出匝道。
所以,在导航地图和高精地图之间建立连接关系,可以让导航系统和自动驾驶系统协同工作。
3、高精地图的形态、部件和业界进度
高精地图诞生初期,有一个业内非常重要的组织叫做NDS协会,一直在定义导航地图数据标准。通过统一标准降低开发难度,使车厂节约成本,同时图商的适配成本也会更低,竞争更充分。大概从2012年左右开始,NDS协会也开始定义自动驾驶地图。在NDS的定义中,高精地图更多还是矢量地图的形态。
随着传感器的更广泛使用以及成本越来越低,对不同传感器也产生了不同高精定位的图层;同时随着很多新技术的产生,比如深度学习,自动驾驶地图也变得越来越多样化。
这里面最典型的当然是Google,其自动驾驶技术无疑是非常领先的。但是Google向外界公布的信息很少,Google无人车前领导者Chris Urmson在2015年的一场公开演讲中展示的视频透露了其在自动驾驶地图方面的局部细节。
可以看到,Google把路侧的一些静态物体用黑框标了出来,对人则是用一些蓝色的框进行标示,而对于移动的车辆,则用紫色的框进行标示,而中间部分橙色的圈状线则是多线激光镭达产生的原始激光点云。以前它用的是Velodyne的64线激光镭达,后来自己打造了成本更低的激光镭达。
可以看出Google的自动驾驶地图中车道模型是存在的,其中的车道线、人行道都做了标示。Google应该是对多种形式的自动驾驶地图都有尝试,甚至是融合不同的解决方案。不仅仅在用激光镭达的占位图或反射率图,同时也使用矢量数据。
NDS 成员HERE和高德都提供类似的高精地图,包含车道线、中心线、边线都非常精细,如下图:
更为激进的如Mobileye的REM,也即“路书”(Roadbook)。CES 2016上,Mobileye就说其可以通过摄像头传感器生成路书,让车辆直接用路书去做自动驾驶。去年11月,Mobileye宣布和HERE地图达成合作,个中原因谷小丰猜测是今天的自动驾驶地图还不能以一种全自动的方式去生成,仍然需要参与大量的人工。而且摄像头本身也有不少缺陷,比如很容易被遮挡,若干次采集也很难达到足够的大范围完备率。
在Mobileye的REM地图中,有道路边缘线、车道中心线、车道边缘线以及静态物体的标示(白底红圈的圆点)。
除了矢量高精地图,还有定位栅格图,包括激光镭达占位图、反射率图以及DEM(Digital Elevation Model)等。
DEM图可以通过传感器的观测到周边环境再和原始数据进行对比而形成的,不考虑反射率,只考虑高度值。
反射率图的原理在于:激光镭达扫描物体后得到反射率,因为不同的材质会有不一样的反射率、可以用于预先生成定位图层。通过扫描周边的环境,与预制的反射率图对比,车辆就能得到精确的自身位置。
占位图(occupancy grid)相对简单,首先要找到地平面在哪里,标记出高出地面的位置。
定位栅格图的另一个典型代表是来自欧洲的图商Tomtom。前两年,Tomtom发布了RoadDNA,其中包含矢量车道模型,但并不使用矢量Object定位。
Tomtom的方案不分辨路侧具体是什么物体,而是把它们当成一种纹理。在使用激光镭达进行采集的时候,会得出这些物体与车之间的距离,从参考线到路侧障碍物的距离正射到参考线(比如最左车道的左边线),用灰度值代表距离生成定位用的栅格图。在一些地物比较稀疏的地方,这种方式优势明显。但是这种形态的地图还依赖激光镭达低成本化。
博世推出了基于毫米波雷达的自定位解决方案。因为毫米波成本低、稳定性高、装配率高,基于毫米波雷达的自定位方案有望早于激光镭达方案投入到应用。高德和博世也建立了合作关系。
2015年高德研发了基于摄像头的定位方案——“道路指纹”。其目的是想探索高精定位的原理和不同的方案。
把摄像头拍摄的地面图像做正射等处理,将得到的纹理预存下来,等车辆拍摄同一位置,用同样的算法、生成正射图与预存正射图对比得到高精位置。
4、高精地图与导航地图的差别
从内容和形态上开,高精地图和导航地图存在着很大的差别,具体表现在以下的多个方面。
很多人会问高精地图的容量会不会特别大,以我们的认识来看,其容量并不会变大,反而要小于导航地图。
从道路的模型来讲,导航地图只有一根线,到高精地图的时候,它就变成车道级别的了,几何形状似乎是变多了,但是在导航地图里有大量的POI、名称、水系、绿地等。按照NDS的规定,航空影像和卫星影像都集成到了导航地图里。单从纯矢量部分来看,高精地图的体积也比导航地图的容量小很多。
二、高精地图与自动驾驶
谈到高精地图对自动驾驶的作用,可以对比自动驾驶和人类驾驶的流程的相通性。
人驾驶的时候以眼睛为主,耳朵辅助观察测量环境;自动驾驶车用多种传感器包括摄像头、毫米波雷达、激光雷达等来构建驾驶环境。人可以通过观察环境或用观察的环境对比记忆完成自定位;自动驾驶汽车通过传感器感知到的环境和高精地图对比完成定位。人类完成驾驶决策主要依靠大脑思考和判断;自动驾驶车通过人工智能和规则完成决策,高精地图在其协助进行路径规划。最后在控制环节,人是通过小脑运动神经来操控车辆;自动驾驶汽车则需要自动化控制的系统来完成,在这一环节中高精地图的坡度、曲率、横坡等也发挥作用。
通过以上的分析,高精地图对于自动驾驶的作用也就非常清晰了。
最重要的当然是高精定位,然后是环境感知辅助(比如把道路上的红绿灯位置做进高精地图中),当然行车路径规划则牵涉到自动驾驶汽车的规划和决策。此外,在云服务方面,很多时候有一些超视距的路况需要通过云服务来告知自动驾驶汽车,这其实也是可以通过高精地图来发挥作用。
1、高精定位方法
具体到高精定位的方法上,其实是将自动驾驶汽车的环境感知结果与高精地图进行对比,得到车辆在高精地图中的精确位置和姿态。实现高精定位是自动驾驶汽车路径规划的前提条件。
一类是基于矢量Object的定位:
一类是基于各种传感器探测到的特征和预制的feature map(特征图)对比来定位。如高德的道路指纹:
上图实例中可以看到右侧画面中的红线是用GNSS+IMU定出来的轨迹,与车辆行驶的绿色轨迹相比存在较大的误差。
另一个实例是基于千寻RTK级绝对定位:
较高的绝对定位精度除了可以提高地图匹配的搜索效率,在传感器被遮挡的时候也可能提供一定的备份功能。
2、路径规划
在驾驶决策规划方面,高精地图主要还是解决了自动驾驶汽车的路径规划问题。车辆获得自己在高精地图中的位置后,通过高精地图的车道级拓扑关系,可以计算出车道级导航路径,车道级导航路径则可以为后续自动驾驶汽车避障和后续车辆控制(加速、减速、方向盘控制)提供路径输入。
上图说明了导航路径规划和用于自动驾驶的车道级路径规划,以及车辆避障之间的关系。车道级路径规划的依据是高精地图,避障部分涉及大量的车辆动力参数,是车企专精的部分。
另外,高德还与戴姆勒合作,利用千寻的绝对定位服务完成了施工区域、施工人员、车辆的道路安全预警应用DEMO,在基于高精地图的云服务方向做了探索。
三、如何生产高精度地图
1、采集
数据采集需要依靠采集车,采集的设备有几个比较核心的部件,包括激光镭达、IMU(惯导系统)、GNSS、高精度轮速仪以及相机等。
2015年初,高德从国外引进了一套成熟的移动激光测量设备,这个设备上有两个高频单线激光镭达、6个摄像头(工业相机)以及一个GNSS天线,还有IMU。激光镭达是来自奥地利厂商的产品,两个360度激光扫描仪交叉扫描,大大降低了漏扫的可能。
2、生产流程
第一步是户外作业(简称“外业”),也就是使用采集设备对外部环境、道路的数据进行采集。采集设备中IMU(惯导系统)的作用也是非常重要的,它可以告诉你设备当前的姿态。所有的部件都向IMU标定,当车辆向左晃的时候,所有设备向左晃;当车辆向右晃的时候,所有设备也向右晃。数据拿回来以后,通过IMU的解算,就能把每一个设备采到的东西很准确地对应到激光点云上去。
外业采回来的数据输出的结果包含高精轨迹、点云、图像。点云采回来以后,会首先做全自动的识别,这个过程采用了深度学习技术。经过全自动识别后,还会有人工的检查和交互式识别补充。
识别工作和编辑工作做完以后,就会进入到质检环节。质检环节通过工具检查、人工检查后,最后还会有路测验证。
全自动的识别有重要的意义,因为高精地图主要的数据源是激光点云,体积非常大,处理难度大。自动识别让生产效率大幅度提升,否则高精地图的成本也非常高,而这个成本最终会转移到用户身上。自动识别是机器识别,表现更加稳定可靠。
有意思的一点是,大家经常会提自动识别的识别率问题。实际上,对于地图生产厂商来讲,更重要的是识别的准确度和可靠度。
而车道线的识别其实也是类似,车道线的识别占整个地图生产量的70%左右,所以在高德生产高精地图的第一天就用上了交互式的车道线识别。
此外,高德从2015年的8月开始就在使用深度神经网络,现在也迁移到点云识别上来。
大量高质量的训练数据对深度神经网络至关重要。对于深度神经网络的技术本身没有多大差距。如果你采集了大量的数据去训练神经网络,那么这个网络就会变得越来越聪明。高精地图和图像、点云叠加后即可生成非常好的神经网络训练数据,之后补充标定一些特殊的地物即可。
目前,基于高德通过摄像头传感器和深度神经网络训练出来的识别系统,车辆行进过程中可以对路边新增的标牌很好地识别(如上图),系统可以更新地图、重新绘制地图,下一步就是要对传感器采集到的数据进行融合。
四、高精地图的挑战
高精地图的发展本身也是有很多挑战的。
1、高精地图到底长什么样?
现阶段依然取决于车辆传感器,除非真的开发出了不依赖于传感器的高精地图,无论车辆用的什么传感器都能用。未来会有什么变化,现在还未可知。
2、高精地图到底应该更新多快?
取决于车端的智能程度以及车的承受能力,根据自动驾驶方案的不同,很可能对更新频率的要求也不同。
3、高精地图的绝对精度究竟应该多高?
绝对精度是多少?是否一定要做到亚米级?
4、高精地图的更新手段?
高德目前建立的导航地图的更新体系已经非常高效。有UGC、来自政府的数据、来自行业的数据、自身强大的众包队伍以及专业的采集队伍。现在的更新已经是组合的形式,并且大量使用云计算、大数据去做数据更新的体系。
这套体系在自动驾驶阶段会变得更强,图商需要去加强建设这样的体系。
谷小丰认为,在自动驾驶阶段,高精地图更新的终极方案应该是UGC。
因为在车端装配着各种各样的传感器,也会越来越多地装配高精地图,通过建立驾驶模型,能知道在现场到底什么东西发生了变化,把这些变化传至云端做融合、校正。若有必要,可以交由高精地图生产线进行补充采集和生产。经过不断循环这一过程,使高精地图新鲜度越来越高、使UGC得来的高精地图越来越精准。
当然,这样的生态环境需要车厂、各级供应商、图商等自动驾驶相关技术的提供者不断共同研究测试,仅有图商自己测是远远不够的。
5、测绘政策的挑战
对于图商来说,高精地图的一个绕不开的挑战就是测绘政策。
大家都知道,中国的地图是偏转后的地图,对地图本身的偏转就我们测试来看是没什么太大影响的。
要使用偏转地图,在车端就需要有偏转插件,偏转插件在传统地图上会有随机抖动。根据有限的观察,抖动的幅度最大可达1.7米。如果厂商的定位较多依赖于绝对定位,那么插件的偏转可能导致车道匹配错误。高德正在密切配合国家地理信息局测试调整可适应自动驾驶需求的偏转插件。
此外,从导航地图到高精地图,内容和形态已经发生了很大的变化。以往,对于导航地图进行审查时,关注的是边界、敏感岛屿以及敏感的POI等等。而到了自动驾驶地图上,这些内容都将消失,审图的重心也会转移。
比如,在现行的法规中,道路的最大和最小曲率不能在地图中表达。而这些内容往往是自动驾驶汽车非常需要的。
还有一个更远的问题,那就是“全民测绘”。现在的汽车、手机其实某种程度上都有测绘的行为,记录轨迹、拍摄照片等等,这些操作都是牵涉到测绘政策问题。所以需要业界同仁共同配合国家地理信息局为调整制订政策法规提出必要的技术和业务参考。
五、高德的实践
从整体产业来讲,自动驾驶行业有空前的复杂性,需要更广泛密切的产业协作。高德作为图商,承袭了阿里一贯的风格,更多强调为产业赋能。
高德在2014年8月份之前,就已经预研高精地图约一年左右。
2014年8月,高德获得测绘局许可,测试真实坐标的高精地图。不过那个时候还是针对地图本身测试为主,并没有和车厂进行实车测试。也在这个时期,高德还完成了OpenDrive格式的高精地图的编译,至今已经3年的时间。这个格式也是大家用在仿真、自动驾驶测试方面的常用格式。
2014年11月,高德高精地图获得第一个商业订单,也是全球范围内的第二个商业订单。第一个商业订单出在北美,目前应该还没有出现第三个商业订单。
2015年2月,高德建立起了高精地图量产的内外业生产线。
2015年8月,高德开始将深度学习用于高精地图的生产。同时推出道路指纹高精定位方案。
2015年10月,高德完成高精地图NDS格式的编译。
2016年9月,高德完成了28万公里高速公路的采集,也做出了基于单目相机和深度学习技术的高精地图采集Demo。
2016年12月,高德的高精地图生产线通过了TS16949的认证。这个时候还将深度学习技术用在识别激光点云上,并应用在生产线上。
2017年2月份,高德对其首个自动驾驶用偏转插件进行测试,目前正在和测绘局调试该插件。
2017年4月份,高德与博世和英伟达展开合作,关注的是高精地图的要素、定位图层和数据更新方案。
高德的定位是以高精地图数据产品为基础,持续赋能自动驾驶企业,使车企顺利使用测试高精地图,最终配合车企共同实现自动驾驶高精地图云服务。
为了解决这样的问题,在高精地图上,高德除了提供矢量数据之外,还提供一些用于测试的应用(比如感知、定位以及车道级路径规划),通过这些应用,高德希望在云端构建完整的高精地图服务。
高精地图技术复杂,充满着各种不确定性,带来全新的商业模式,又不可避免要导致法律法规变革。构建高精地图生态,依赖整个自动驾驶产业的广泛深入合作才能实现。