研究人员创建“FedD3”新型框架 用于在资源受限的边缘环境中进行联邦学习

盖世汽车讯 对于具有大量联网客户端（例如智能手机、联网汽车或边缘设备）的大规模分布式系统中的协作学习而言，联邦学习已成为一种范式（federated learning）。由于客户端之间的带宽有限，之前的研究方向均为加速收敛，减少所需操作的数量并提高通信效率。然而，这种类型的协作优化对于当前具有超过十亿参数的神经网络影响不大，其通信量仍然巨大，需要大量的网络容量（高达Gbps级别）才能实现一致且有效的运行。也正是因为这种限制，联邦学习模型不能广泛用于商业无线移动网络，例如车辆通信网络或工业传感器网络。

先前的联邦学习方法降低了通信轮数，从而降低了通信量以实现合适的学习收敛。据外媒报道，为了通过在单轮中交换信息来降低与训练支持向量机相关的通信成本，Guha等研究人员提出一次性联邦学习。尽管描述实际数据集的分布可能具有挑战性，但Kasturi等研究人员提出了一种联邦学习的融合，可将模型和数据分布上传到服务器。

基于知识转移的一次性联合学习方法是通用的，但是将大量学生模型发送到服务器会增加通信成本。受一次性方案启发，研究人员通过数据集蒸馏提供了一种新颖的联合学习训练方案，可具备一次性通信。合成和发送具有密集特征的更小但更有价值的数据集可更加直观。在不侵犯任何人隐私的情况下，更多的教育培训数据可通过有限的带宽传输。特别是，研究人员推出的联邦学习系统FedD3结合了数据集蒸馏。

该系统通过将本地提取的数据集同时发送到服务器，从而实现有效的联合学习。 这可以应用预先训练的模型，并用于个性化和公平的学习。这种技术保留了联邦学习重要优势，即隐私。与早期联邦学习方法中的共享模型参数类似，但该系统更加高效，其匿名映射来自原始客户端数据的蒸馏数据集，并很好地保护了隐私。

通过调整准确度增益对通信成本的重要性，联邦学习中的通信效率可被评估。这些测试特别显示了准确性和通信费用之间的权衡。研究人员提出了一种新的评估指标，即准确度增益，以解决这种权衡问题。研究人员还检查了特定外部变量的影响，例如非IID数据集、客户数量和本地贡献。研究人员在通信成本有限的联邦学习网络中展示了这种方法的巨大潜力。

实验证明FedD3具有以下优点。首先，FedD3即使在通信量较小的情况下也能获得更好的性能，在具有500个客户端的分布式系统中，非IID MNIST的准确度提高了2.3以上（从42.08%到94.74%）。其次，与其他单次联邦学习相比，FedD3即使在通信量较少的情况下也能获得更好的性能。在具有500个客户端的分布式系统中，准确率提高了2.3以上（从42.08%提高到94）。