特斯拉专利：利用增强型摄像头图像高效训练神经网络

盖世汽车讯 去年年底，有消息称特斯拉收购了一家专为自动驾驶汽车研发“深度神经网络”（DNN）的初创公司DeepScale，不过未披露收购金额。该公司所关注的计算节能型深度学习系统也是特斯拉所关注的一个领域，而特斯拉决定自主研发计算机芯片，为其自动驾驶软件提供支持。就在特斯拉于2019年10月收购DeepScale几天之后，特斯拉就申请了一项专利，专利申请人就包括DeepScale公司的三名成员：Matthew Cooper、Paras Jain和Harsimran Singh Sidhu。

（图片来源：electrek.co）

据外媒报道，该项专利名为“利用增强型数据训练机器模型的系统和方法”（Systems and Methods for Training Machine Models with Augmented Data），于当地时间4月17日被正式公布。

特斯拉汽车都配备了一组摄像头，能够为车辆提供覆盖360度视野的图像。在专利文件中，特斯拉表示，用于训练神经网络的图像通常由不同的传感器捕获，而此类传感器有时会具有不同的特征。例如，在特斯拉的三个前置摄像头中，每个摄像头的视场和探测距离都不同。

不过，特斯拉在最新专利中提出了一个系统，可以让该公司采用优化方法处理此类图像，即通过增强型数据，对神经网络进行灵活且广泛的训练，即使配备了不同规格摄像头的车辆都可做到。

（图片来源：electrek.co）

特斯拉表示：“增强型数据能够使模型预测普遍化，并提升模型预测的性能，特别是在图像有暗影、被遮挡或者无法提供被探测物体的清晰视图的情况下，而此类方法特别适用于物体探测和自动驾驶汽车。此外，在其他场景中，如果有很多设备配置了相同摄像头也非常有用。由于此类设备可能配备了面向特定方向的特定传感器套件，可能会收集既定配置的训练数据，一个模型可能会利用收集而来的训练数据的增强版进行训练，而已经得到训练的模型可能会部署至有相同配置的设备上。”

该项专利最引人注目的一点是采用“剪贴”（cutouts）法，能够让特斯拉的神经网络利用经过优化的一组图像进行训练。特斯拉Autopilot前工程师Eshak Mir曾暗示，特斯拉正在重写Autopilot，将有助于让车辆所有摄像头的图像呈现在“一个视图中”。该过程有助于特斯拉进行3D标记，特别是用于图像是拼贴在一起的神经网络训练。

专利文件中表示：“此类图像可能会用“剪贴”功能得到增强，该功能会删除原始图像中的一部分，然后利用其他图像内容，如指定的颜色、模糊的内容、噪声或另一幅图像的内容来取代该部分。剪贴掉的图像内容数量、大小、区域和替换的内容会各种各样，可能会基于图像的标签（如图像中感兴趣区域或者物体的边界框）等进行剪贴。”

特斯拉的目标是尽快推出功能齐全的全自动驾驶套件（FSD），尽管该公司推迟了原定于2019年底推出的计划，该公司首席执行官埃隆马斯克（Elon Musk）仍对该计划非常乐观。不过，马斯克也确实表示特斯拉正在对Autopilot进行基础重写，重写工作的一个重要部分涉及到重写Autopilot核心基础代码以及推出3D标签。