联邦学习，打破模型训练数据安全限制难题

作者：邵云峰

1、联邦学习 背景及技术回顾（图文穿插）

传统机器学习通常需要把训练数据集集中在数据中心，从而带来安全、隐私等问题，联邦学习应运而生。联邦学习具有如下优势：

1）数据不出本地：数据保留在各方本地，不泄露隐私也不违反法规

2）模型效果相同：联邦学习模型效果和将全部数据统一存放管理的建模效果相同或相差不大

迁移学习

3）联合建模，利益共享：多个参与方联合各自数据建立虚拟的共有模型，并且共同获益体系

4）个性化模型：根据用户特性，提供匹配的算法、模型和推理结果

5）在用户或特征不对齐的情况下，数据间通过交换加密参数达到知识迁移的效果

2、NAIE平台联邦学习架构及关键特性

NAIE联邦学习作为运营商各层AI架构的基础在线训练能力：

1）遵从ADN网络自动驾驶的架构，作为AI组件灵活嵌入各层网管及OSS；

2）以网络AI框架为主，联邦学习功能作为可选功能组件，微服务形式集成，一次集成网络AI框架，即可选择联邦学习功能；

3）针对通信行业的联邦学习框架，重点解决通信领域数据不出本地，模型泛化能力，模型训练效率等问题；

提供NAIE联邦学习关键技术点

（1）模型汇聚算；

（2）参数传输加密；

（3）模型压缩传；

（4）轻量化训练环境；

（5）样本隐私保护；

（6）模型个性化适配

3、联邦学习在家庭接入终端的应用

通过NAIE@NCE+ONT的云+端 联邦学习架构，支持ONT 应用识别的在线学习能力，探索AI算法异地泛化机制，支撑如下特性：

1）提升上网后模型准确率的本质是提供AI在线训练能力。

2）应用识别涉及家庭用户个人数据，可选择ONT本地学习的AI在线训练。

3) ONT海量模型共享可加快学习效率, 可通过NCE或云上管理ONT协同训练

应用效果：

1）超大规模(W节点)联邦学习能力：在品质家宽场景下探索万级FLC管理，百级FLC本地训练调度的AI协同学习与推理。
2）应用识别在线学习，已识别业务上网，特征漂移后，准确率劣化<3%(无新业务)，<8%(新业务干扰)

NAIE联邦学习突破了电竞ONT规模商用技术瓶颈，加速项目复制，创造电竞ONT在AI学习的绝对领先竞争力 。对客户来说，NAIE联邦学习可以帮助提升TTM，快速展开电竞套餐销售。

文章来源: zhuanlan.zhihu.com，作者：网络人工智能园地，版权归原作者所有，如需转载，请联系作者。

原文链接：zhuanlan.zhihu.com/p/258501909