Federated Learning with Non-IID Data

举报
墨理学AI 发表于 2022/01/11 00:26:42 2022/01/11
【摘要】 Federated Learning with Non-IID Data IID: 独立同分布 (idependently and identically distributed, IID) ...

Federated Learning with Non-IID Data


IID: 独立同分布 (idependently and identically distributed, IID)


论文链接


Abstract
联合学习使资源受限的边缘计算设备(例如移动电话和IoT设备)能够学习共享的预测模型,同时将训练数据保持在本地。这种去中心化的训练模型方法提供了隐私,安全性,监管和经济利益。在这项工作中,我们专注于本地数据为非IID时联邦学习的统计挑战。我们首先显示出,对于高度偏斜的非IID数据进行训练的神经网络(每个客户端设备仅在单个数据类别上进行训练),联邦学习的准确性显着降低了约55%。我们进一步表明,这种精度降低可以用重量差异来解释,重量差异可以通过每个设备上各个类别的分布与人口分布之间的推土机距离(EMD)进行量化。作为解决方案,我们提出了一种策略,可通过创建在所有边缘设备之间全局共享的一小部分数据来改善对非IID数据的训练。实验表明,对于仅包含5%全局共享数据的CIFAR-10数据集,其准确性可以提高〜30%。

5 Conclusion

联合学习将在分布式机器学习中扮演关键角色,在分布式机器学习中,数据隐私至关重要。不幸的是,如果每个边缘设备看到唯一的数据分布,模型训练的质量就会下降。在这项工作中,我们首先表明,对于使用高度偏斜的非IID数据训练的神经网络,联邦学习的准确性显着降低了约55%。我们进一步表明,这种精度降低可以用重量差异来解释,重量差异可以通过每个设备上各个类别的分布与人口分布之间的推土机距离(EMD)进行量化。作为解决方案,我们提出了一种策略,可通过创建在所有边缘设备之间全局共享的一小部分数据来改善对非IID数据的训练。实验表明,对于仅包含5%全局共享数据的CIFAR-10数据集,其准确性可以提高〜30%。要使联邦学习成为主流,仍然存在许多挑战,但是改进非IID数据的模型训练对于在此领域取得进展至关重要。

文章来源: positive.blog.csdn.net,作者:墨理学AI,版权归原作者所有,如需转载,请联系作者。

原文链接:positive.blog.csdn.net/article/details/102979719

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。