当前位置：首页 > 编程日记 > 正文

微众银行AI团队开源联邦学习框架，并发布《联邦学习白皮书1.0》

编程日记 2024-12-22 07:30:00

（图片由AI科技大本营付费下载自视觉中国）

编辑 | Jane

来源 | 《联邦学习白皮书1.0》

出品 | AI科技大本营(ID：rgznai100）

【导语】2019年，联邦学习成为业界技术研究与应用的焦点。近日，微众银行 AI 项目组编制并发布了《联邦学习白皮书1.0》，并开源了自研的联邦学习框架。白皮书中对联邦学习的背景、概述、分类、研究、应用案例与发展路径进行了全面的介绍，总结了联邦学习技术发展至今取得的成果以及对未来的展望。

数据不够、数据之间存在壁垒、数据隐私与安全等问题是大数据和人工智能时代一直没有解决的困境，传统机器学习方法的瓶颈已经开始显现，设计一个新的机器学习框架，一种新的解决方法，让AI可以更高效和准确的使用海量数据，是亟需突破的课题。而联邦学习正是解决这些问题的可行方案。

什么是联邦学习？

联邦学习是一个机器学习框架。各个企业的自有数据不出本地，而后联邦系统可以通过加密机制下的参数交换方式，即在不违反数据隐私法规情况下，建立一个虚拟的共有模型。这个虚拟模型就好像大家把数据聚合在一起建立的最优模型一样。但在建立虚拟模型的时候，数据本身不移动，也不泄露隐私和影响数据合规。

这样，建好的模型在各自的区域仅为本地的目标服务。在这样一个联邦机制下，各个参与者的身份和地位相同，而联邦系统帮助大家建立了“共同富裕”的策略。这就是为什么这个体系叫做“联邦学习”。

根据不同的数据分布，联邦学习可以分为三种类型：横向联邦学习、纵向联邦学习和迁移联邦学习。

如下图所示，以纵向联邦学习为例，联邦学习的架构是一个“闭环”学习机制。

联邦学习有什么优势？

联邦学习使得两方或多方的数据使用实体在合作当中数据不出本地也能共同使用，解决数据孤岛问题。

1、数据隔离：各方数据都保留在本地，不泄露隐私也不违反法规。

2、对等：在联邦学习的体系下，各个参与者的身份和地位相同。

3、模型无损：联邦学习的建模效果和将整个数据集放在一处建模的效果相同，或相差不大（在各个数据的用户对齐(user alignment)或特征(feature alignment)对齐的条件下）；迁移学习是在用户或特征不对齐的情况下，也可以在数据间通过交换加密参数达到知识迁移的效果。

4、共同获益：多个参与者联合数据建立虚拟的共有模型，并且共同获益的体系。

联邦学习有什么用？

能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和建模。

联邦学习可以应用于不同行业及其垂直领域，包括金融服务、物流、供应链、运营商、医疗健康等。在使用联邦学习的过程中，可采用联合共建、平台服务等方式进行解决方案落地。

比如在小微企业贷款项目中保证数据安全，不对外输出，同时提高预测能力，共享模型效果；在反洗钱场景中，满足金融数据安全的合规，解决样本数据集少的问题；在故障检测中，保证不同设备运营商的数据安全，通过联邦学习建模技术，解决单个局点标签少、预测准确率低问题，提升运营效率又降低成本；医疗领域的图像识别中也有着重要的应用，各医学机构间数据不共享，用户不愿意泄露个人的隐私数据，联邦学习解决了医学领域的数据孤岛问题，提高在医学数据中应用能力，联合多方数据，提升模型效果。

开源项目

联盟学习开源项目FATE（Federated AI Technology Enabler），提供了一种基于数据隐私保护的安全计算框架，为机器学习、深度学习、迁移学习算法提供强有力的安全计算支持。安全底层支持同态加密、秘密共享、哈希散列等多种多方安全计算机制，算法层支持多方安全计算模式下的逻辑回归、Boosting、联邦迁移学习等。

可以帮助学术研究人员快速开发算法原型；为工业界人员快速开发应用提供一种简洁有效的解决方案，支持在多场景下的开拓和应用；借助其灵活的架构，用户可以轻松地将计算工作部署到多种平台（CPU、GPU）和设备（桌面设备、服务器集群、移动设备等）

1、安装环境与软件环境：

（1）可支持Linux 或 Mac 系统

（2）需要 jdk1.8+、Python3.6、python virtualenv、mysql5.6+、redis-5.0.2

2、支持独立和集群部署

（1）独立安装部署参考：

https://github.com/FederatedAI/FATE/tree/master/standalone-deploy

（2）集群安装部署参考：

https://github.com/FederatedAI/FATE/tree/master/cluster-deploy

白皮书概览

FedAI网址：

https://www.fedai.org.cn/cn/

Github地址：

https://github.com/FederatedAI/FATE

获取白皮书

https://img.fedai.org.cn/fedweb/1552917119598.pdf

（*本文为 AI科技大本营整理文章，转载请微信联系 1092722531）

◆

精彩推荐

◆

2019 中国大数据技术大会（BDTC）历经十一载，再度火热来袭！豪华主席阵容及百位技术专家齐聚，15 场精选专题技术和行业论坛，超强干货+技术剖析+行业实践立体解读，深入解析热门技术在行业中的实践落地。【早鸟票】与【特惠学生票】限时抢购，扫码了解详情！

推荐阅读

阿里飞天大数据&飞天AI平台“双生”系统正式发布，9大全新数据产品集中亮相

阿里披露AI完整布局，飞天AI平台首次亮相

解决掉这些痛点和难点，让知识图谱不再是“噱头”

程序员因接外包坐牢 456 天！两万字揭露心酸经历

11月4日，上海开源基础设施峰会，不见不散！

限时早鸟票 | 2019 中国大数据技术大会（BDTC）超豪华盛宴抢先看！

Pandas中第二好用的函数 | 优雅的Apply

阿里开源物联网操作系统 AliOS Things 3.0 发布，集成平头哥 AI 芯片架构！

雷声大雨点小：Bakkt「见光死」了吗？

相关文章：