日均数百万TB 自动驾驶汽车大量数据该如何处理

自动驾驶汽车的兴起证明了人工智能的进步，但它们的成功不仅仅取决于人工智能。自动驾驶车辆依靠传感器网络（包括摄像头、GPS、声纳、激光雷达和雷达）来在不同的环境中导航。而汽车的车载计算机负责实时处理这些信息，其中一些数据还会传输到外部数据中心进行更深入的分析，最终通过各种云系统进行传输。 处理如此大量的数据对自动驾驶汽车行业来说是一个重大挑战。

图片来源：Vicone

在此背景下，物联网的作用就变得至关重要。这不仅涉及人工智能，还涉及机载计算、外围服务器和云技术。物联网基础设施在实现快速数据传输和确保低延迟方面的效率对于自动驾驶车辆的无缝运行至关重要。

数据处理挑战

如今，即使是有驾驶员的普通汽车也会产生越来越多的数据。而对于自动驾驶汽车来说，其数据生成量更是达到更高水平，达每小时1TB左右。因此目前面临的挑战就在于如何处理所有这些信息。

仅仅依靠云或外围数据中心来处理自动驾驶汽车的所有数据是不切实际的，因为这会导致过多的延迟。在自动驾驶领域，即使是100毫秒的延迟也可能至关重要，可能关系到行人或汽车乘客的生死。因此，这些车辆必须能够立即响应不断变化的情况，因此快速数据处理至关重要。

为了最大限度地减少接收和响应信息之间的延迟，部分数据由汽车的车载计算机处理。以新Jeep车为例，配备了由大约50个处理核心组成的车载计算机。该计算机支持盲点监控、巡航控制、自动制动和障碍物警告等一系列功能。各个车辆节点在内部进行通信，创建车内网络。

图片来源：博世

这种配置与物联网框架内的边缘计算概念非常吻合，将机载计算机视为物联网网络的外围节点。因此，自动驾驶汽车形成了一个复杂的混合网络，集成了集中式数据中心、云服务和众多外围节点。节点不限于车辆，还嵌入充电站、控制站和交通灯等。

车外的数据中心和服务器极大地有助于无人驾驶导航。它们使车辆能够“看到”其传感器范围之外的情况，管理道路网络交通负载，并协助做出最佳驾驶决策。 这个互联系统代表了道路安全的重大飞跃。

自动驾驶汽车技术的数据交换革命

计算机视觉系统和GPS为自动驾驶汽车提供了有关其位置和周围环境的基本信息。然而，尽管行踪计算的范围不断扩大，单辆车只能收集有限数量的数据。因此，车辆之间的数据交换至关重要。这种交换使每辆车能够使用整个自动驾驶车队收集到的更大数据集更好地了解驾驶条件。车对车（Vehicle-to-Vehicle）系统使用同一区域内的车辆形成的网状网络来共享信息，并向彼此发送距离警告等信号。

此外，车对车网络正在逐步扩展，以包括与交通灯等道路基础设施的交互。这就是车辆到基础设施（vehicle-to-infrastructure，V2I）通信发挥作用的地方。V2I标准在不断发展。例如，在美国，联邦公路管理局（Federal Highway Administration）定期发布指南和报告以促进技术进步。V2I的优势远不止安全性。除了提高道路安全外，车辆到基础设施技术还提供移动出行和环境交互优势。

正如每天沿着同一条路线行驶的驾驶员会熟悉每一个坑洼一样，自动驾驶汽车也在不断地从环境中学习。自动驾驶汽车会将有用的信息上传到外围数据中心，这些数据中心可以集成到充电站和其他物体中。这些站点配备人工智能算法，将分析汽车数据并提出潜在的解决方案。然后，这些信息将通过云与其他自动驾驶车辆共享。

如果所有自动驾驶汽车之间的这种数据交换模型在未来几年内得以实现，预计每天会生成大量数据，可能达到数百万TB。据估计，到那时，道路上自动驾驶汽车的数量可能会从数十万到数千万辆不等。

自动驾驶汽车和5G

同样，自动驾驶汽车不仅能够通过传感器，还能够通过与其他车辆、交通信号灯和其他城市基础设施系统共享的数据来收集行人和骑行者的信息。多个5G连接汽车项目正在推动这一进程。自动驾驶汽车利用蜂窝车联网（Cellular Vehicle-to-Everything）技术和5G网络与其他交通灯、骑行者和汽车进行通信。

图片来源：大众

交通灯可配备热成像仪来感知人行横道附近的行人，从而触发汽车仪表板上出现的警报。连接到该网络的骑行者可以向附近的车辆广播他们的位置，从而大大降低发生事故的风险。此外，在能见度较差的情况下，停放的车辆可以自动启动紧急闪光灯，提醒其他驾驶员它们的存在。

事实证明，5G移动网络的出现对于自动驾驶汽车的进步具有不可估量的价值。5G网络提供高速度、极低的延迟，并且能够同时处理大量连接。正是如此，自动驾驶汽车才能够在关键任务中超越人类，例如检测附近人行横道上的行人。此外，最小延迟的需求至关重要，因为即使是短短的几分之一秒，也可能导致安全与潜在事故之间的差异。

丰田、宝马、现代和福特等主要汽车制造商已将5G技术融入其车辆中。随着蜂窝运营商投资数十亿美元建设5G网络，为车辆配备日常操作所必需的功能也得以更好地实现。

然而，5G连接的自动驾驶汽车的所有进展和实验都取决于强大的5G基础设施的可用性。鉴于自动驾驶汽车每小时可产生高达1TB的数据，这些网络必须能处理如此巨大的数据传输需求，并有可能在未来满足更大的需求。

有效存储和处理EB级数据

并非自动驾驶汽车收集的每条数据都需要立即处理，而且车载计算机的性能和存储能力也存在限制。因此，积累可以承受一定延迟的数据并在外围数据中心进行分析是可行的。同时，其他数据集可以迁移到云端进行处理。

收集、处理、移动、保护和分析有关每个行人、汽车、坑洼或交通拥堵的数据的责任应该由城市政府和汽车制造商共同承担。一些智慧城市规划者已经在利用机器学习算法来更有效地分析交通数据。这些算法可以快速识别坑洼等道路问题，优化交通流量，并对事故做出即时响应。在更广泛的范围内，机器学习算法可以提供建议，以加强城市基础设施。

将完全自动驾驶融入日常生活需要解决处理和存储大量数据的挑战。一辆自动驾驶汽车每天可产生高达20 TB的数据。展望未来，这可能会导致一天内生成EB级的数据。管理这一点需要灵活、高性能、可靠且安全的数据存储边缘基础设施，以及高效的数据处理能力。

为了让车载计算机做出实时决策，它必须能够访问有关其环境的最新信息。过时的数据（例如一小时前的车辆位置和速度）通常对于立即决策而言并不重要。然而，这些历史数据对于自动驾驶算法的持续改进具有重要价值，需要在实时处理和长期数据利用之间取得平衡。

为了有效地训练深度学习网络，系统开发人员需要大量数据，包括通过摄像头输入和激光雷达信息识别物体及其运动，以及优化集成有关环境和基础设施的数据以进行决策。对于道路安全专家来说，自动驾驶汽车在事故或危险情况发生前收集的数据非常宝贵。

随着自动驾驶汽车收集数据并转发到外围数据中心，并最终存储在云端，市场对结构化且高效的数据存储系统的需求日益增长。及时分析新数据以完善机器学习模型，需要高吞吐量和低延迟。配备多驱动器技术支持的固态硬盘（SSD）和大容量热辅助磁记录（HAMR）驱动器非常适合这些任务。

自动驾驶汽车的数据经过初步分析后，需要以更具成本效益的方式存储，最好是使用大容量但成本较低的传统近线存储解决方案。这些存储服务器可用来存储将来可能有用的数据。不太可能使用但仍需要保留的较旧数据可以发送到档案存储。

向边缘处理和分析数据的转变是工业4.0的标志，彻底革新了数据使用。边缘计算使数据能够在其收集点附近进行处理，而不是依赖传统的远程云服务器。这种方法可以更快地进行分析，从而能够立即响应不断变化的情况。支持数据中心和车辆之间信息传输的超快速且有效的网络将提高自动驾驶技术的安全性和可靠性。

结论

自动驾驶汽车的进步展示了人工智能以及物联网在处理复杂数据网络方面的关键作用。配备一系列传感器并由边缘计算支持的自动驾驶汽车将重塑道路安全和城市交通。5G网络的引入进一步增强自动驾驶汽车的能力，实现与其他车辆和城市基础设施更快、更可靠的通信。

然而，有效处理和存储生成的大量数据仍然是一个重大挑战。随着未来道路上可能有数百万辆生成数据的自动驾驶汽车，开发高效、安全的数据基础设施对于这项革命性技术的成功和安全至关重要。