前言
近期参加了NVIDIA高级辅助驾驶开发者实验室，其中有自动驾驶安全报告白皮书和探究高级辅助驾驶算法的系列视频，第一次学习辅助驾驶的知识，觉得很有意思，也学习到了新的知识，下面是对几个视频的个人总结分享给大家：
一、用于自主系统的实时检测基础模型
1.1 自动驾驶软件在处理罕见场景方面的局限性
现有的自动驾驶软件在处理极其罕见的长尾场景方面存在局限性，因此,实时检测并对突发异常做出响应，对于确保安全性和可靠性至关重要。
1.2 解决方案
NVIDIA与斯坦福大学合作，利用生成式 AI来增强自动驾驶系统应对突发异常的能力，并开发了一个算法可以实时使用大语言模型来提高自动驾驶的安全性。在多个阶段使用 LLM，它用于实时检测异常情况，然后在检测到异常情况后，LLM会谨慎地推理出最安全的行动规划，这种快慢推理器的创新组合，是确保实时可行性的关键，同时保留了 LLM 的全部推理能力。
二、利用生成式 AI 增强自动驾驶仿真
如何利用生成式AI来增强自动驾驶仿真: 关键技术包括MapLLM、LCTGen和Omniverse场景编辑器。MapLLM能够根据文本描述生成高精地图格式的驾驶场景，LCTGen则能够生成自然通真的交通参与者行为，而Oniverse场景编辑器则允许对场景进行灵活编辑。这些技术的结合使得自动驾驶系统的评估和训练更加全面和高效。
LCTGen:
结合MapLLM、LCTGen和Omniverse场景编辑器，创建逼真场景来进行自动驾驶评估和训练：
三、端到端自动驾驶：鸟瞰图（BEV）
NVIDIA的端到端自动驾驶方案。该方案提出了一种基于鸟瞰图(BEV)特征的神经网络规划器，简化了从传感器数据到车辆控制指令的转化过程。与传统系统不同，该方案将检测、跟踪、预测和规划整合到一个单一的神经网络中，使用BEV特征直接进行规划，展现了深度学习在自动驾驶领域的颠覆性应用。此外，该方案还提供了一种通用框架，增强了基于机器学习的规划与基于规则的规划的结合，确保了模型的安全性和合规性。该方案在CVPR 2024年的大规模端到端自动驾驶挑战赛中取得了冠军，展示了NVIDIA在自动驾驶技术方面的领先地位。
四、LLM道路规则指南让驾驶更简单
4.1 局限性
让自动驾驶汽车适应新环境和不同地区的习俗和法规，一直是一个难题。
4.2 解决方案
LLaDA是一种强大的多模态语言驾驶助手，能够根据新地点和不同语言下的交通规则和驾驶规范，为驾驶员和自动驾驶汽车提供指导。多模态神经网络可以将文本、图像、视频和音频等不同类型的数据集成到一个模型中，从而提高性能和捕获更丰富的信息。LLaDA能够识别和解析交通法规、场景环境和当前运动规划，有效纠正自动驾驶轨迹的错误，提出以恒定速度继续向前行驶的轨迹。NVIDIA DRIVE Thor多处理器的强大性能将进一步提升LLaDA的能力。
五、使用自监督学习大规模重建动态驾驶场景
5.1 局限性
开发强大的自动驾驶感知模型需要大量标记数据，这些多样化的数据来自各种场景和环境，收集有意义的、动态的场景并且准确标记它们极其昂贵。
5.2 解决方案
NVIDIA自动驾驶实验室利用自监督学习大规模重建动态驾驶场景的技术，开发了一种名为EmerNeRF的场景表示方法，能够从平面图像生成立体场景，准确重建动态场景，无需人工标注。EmerNeRF通过三个神经场分解场景，包括静态场、动态场和运动流场，能够实现静态场景和动态物体的高保真重建。此外，EmerNeRF还能为驾驶系统提供语义理解通过文本查询特定概念，解决自动驾驶训练数据中的数据不平衡问题。
六、从轿车到 SUV，通过 Dynamic View Synthesis 来确保动态视角鲁棒性
6.1 局限性
汽车制造商正在将自动化和自动驾驶功能整合到大型车队规模中，然而当技术扩展到新车型时，会面对新的挑战，如果一个感知模型例如鸟瞰分割图，是从大量轿车收集的数据开发的，那么当该模型设置在 SUV 上时，由于摄像机视角的明显差异，准确性就会下降。
6.2解决方案
NVIDIA使用Dynamic View Synthesis技术解决自动驾驶汽车在不同车型上的视角问题。Dynamic ViewSynthesis技术通过将轿车的摄像机数据转化为SUV的数据，消除了视角问题，使得感知模型可以应用于不同类型和尺寸的车型，而无需额外的数据收集和标注成本。这种方法通过利用多视角对统一场景观察的一致性，使DNN能够学习到三维空间的几何结构，从而在任何不同的摄像机视角下，都能准确展示场景图像。
感想
虽然平时会听到一些辅助驾驶相关的知识，但是没有系统的学习过。通过这次学习，认识到了辅助驾驶如果让人们完全信任需要经历哪些"高山"(像不同地区的道路规则和不同车型的训练数据问题都是我从来没有想过的)，辅助驾驶想要转为无人驾驶就是要解决一个个的难题，从而让无人驾驶可以保证人身安全。NVIDIA就是在做这样的事情，不管是实时检测基础模型，还是生成式 AI 增强自动驾驶仿真，还是LLaDA都是NVIDIA所做出努力的成果，希望NVIDIA能够继续完善这些功能，相信自动驾驶就在不远的将来。
