在线地图推理，结合以前的信息进行感知，看的更远。

(资料图片仅供参考)

在线地图推理这里使用了公认最先进的智能驾驶感知技术栈 BEV 网络作为基础， 从俯视的角度将每个摄像头的信息组合到一起，这样各个摄像头之间的信息能够共享，识别能够更加精准，稳定。

但是实时感知的局限性在于，在复杂的道路上，常常需要移动一定的角度才能获取足够多的信息。

对于决策规划来说，感知信息不够多和精准让决策变得很艰难。

对于人类驾驶员来说，一般我们会通过经验，即使没有看到目标路口的车道线也可以做出正确的操作，因为我们有之前的经验信息。

这里的整体工作流也非常类似，使用之前的经验，进行信息补全，最后保证感知结果的更加可靠。

当然，整体来看，这与实时感知车道线与高精地图信息融合作为最终环境感知结果的方法依然类似，只不过这里使用的并非是高精地图测绘结果作为输入，而是特征中间值作为隐式输入。

这里有一个很有意思的「隐式表达」的概念。

常规的已经感知出车道线结果再与高精地图进行融合的方式，可以称之为：「显式融合」。

即具有相当的可解释性，有经验的工程师是可以完全看懂的，也可以被直接描述。

而理想这里的表达方式更加倾向于隐式表达，也就是，一切规则由神经网络自行学习完成，无法被直接描述。

模型能力逐渐变强的当下，能够覆盖更多子任务，很多中间层显式的表达可以用隐式的方式完成，例如原来单摄像头感知后融合，到现在多摄像头 BEV 完成的隐式融合。

理想的先验地图和感知结果融合的方式，都属于此列，这也是算力充足的情况下，人工智能发展的趋势。

03

离线地图更新，实时云端对齐

对于某个新的感知结果，是否需要被实时更新到云端离线地图中去？

这个问题其实也没有这么简单。

因为不论何时，新感知的结果与离线地图都是有一定差异的，如何规定学习新的感知结果和忘记旧的信息规则也是一件不容易的事情。

在理想的这个方案里，依然使用了隐式学习的方式去规定，并使用了一种 Gated Recurrent Unit（GRU）门控循环单元变体结构完成，这样也保证网络的长时记忆能力。

简单来说，规定一个忘记比例，一个更新比例，这两个都是一个小的神经网络单元，输入都是实时感知的结果和离线地图查询结果，让神经网络自行学习两个比例。

最后再将这两个比例与实时感知结果和离线查询结果进行操作，最后得出新的离线地图更新。

这里再次呼应了上文中提到的隐式表达概念，隐式决定如何更新地图。

实际上也就是，让神经网络知道，往什么方向去更新地图才是对的，而不是规则化这个任务。

04

一些疑问和工程化问题

定位问题

关于离线地图查询时的定位问题这里并没有说明，事实上，之前 Tesla 在 AI Day 上也提到过 Spatial RNN 众包建图方案，与理想本次提出来的方案具有非常强的相似性。

但是这些任务都基于一个非常强的假设，因为需要有不同时空同一位置的地图更新，也就是说定位需要非常准确。

但是，实际上，车端的定位是无法准确到满足这个强假设的。

不准确的定位可能在查询整体离线地图时会出现偏差，也就会影响最后的感知结果。

所以一般来说，还需要实时位置特征去满足定位的要求，这一点应该也需要工程师们持续的努力。

这里有一个细节是，是否可以在查询地图时也加入一个隐式网络，将目标路面特征作为查询的来源，而不是纯显式地图定位表达。

地图的成熟度自动确认

在发布会上，郎博提到一个路口成熟度的概念，也就是在多次更新之后，离线地图会达到一个可以被使用的阈值。

关于什么时候可以被使用，郎博并没有给出来， 这里假设两点：

存储和实时云端互传

在论文中，提到使用 Nuscenes数据集作为验证，整体 2km X 1.5 km 的小区域，0.3m 的分辨率，使用了 11GB 的存储空间。

关于本车如何使用这些数据，如何从云端下载数据，事实上也是一个需要实践解决的工程问题。

因为如果实时云端查询并且下载地图先验特征，常常会因为网络问题造成数据并不能实时传输完成，这样无法完成实时地图更新。

我的猜测应该也是与高精地图的使用方式一样，根据地图定位提前下载小片区的地图，例如通勤模式，可以将整个通勤范围内的地图提前下载并且查询由车端实时完成。

关于本车数据不断上传问题，并且理想并没有实时绘制地图，保存的只是地图的中间值特征，不具有地图拓扑含义，因此应该不算测绘，不需要特殊的测绘资质。

这也是一次数据驱动面对数据保护条例的小小胜利。

写在最后

自动驾驶感知发展的趋势非常明朗，即从越来越多的信息中获取输入，保证感知结果的精确。

从 2D 直视图到 3D BEV 感知融合保证多视图的信息共享，再到 4D 时序融合保证前后帧的预测，再到理想地图先验多时空信息的融合，我这里想简单称之为 5D 平行时空融合。

理想智能驾驶走在了正确的道路上。

有个理想车主问我，为什么理想这么快就可以拿出来一个这样的 Demo 产品？

我想了想回答：现在的自动驾驶开发，绝对不存在一种天顶星算法，能够直接将竞争对手产品斩落马下。

而最重要的是一步步的耐心和极强工程能力。

如果必须要回答这个问题的话，答案只能是：后发者找对了方向，省去了一大部分探索和拉扯的时间，并且能够持续专注地开发。

在技术栈开始变化时，一切之前的积累， 可能都只是拖累。

当然， 这一切都建立在 Demo 的水准可以大规模推广使用，并且能如期交付的基础上。

不过现在， 我想提前恭喜理想同学，在去高精地图的战场上，开出了响亮的第一枪。

添加微信，找到我们

更多阅读

我们研究了特斯拉、毫末「自动驾驶算法」的秘密

Momenta CEO曹旭东：自动驾驶没有百亿美金公司，要么千亿美金、要么被收购或淘汰

2022，车载高规激光雷达量产元年

关键词：