联邦学习，为何而生？
隐私数据是否早已泄露，而我们却毫无察觉？
随着大数据、边缘计算、大型云计算平台和各种开源框架的发展，机器学习等人工智能技术以前所未有的速度应用到各个行业，人工智能技术带来了新的挑战，数据的隐私和安全引起了全世界的重视。
对此，欧盟曾经发布《通用数据保护条例》，中国也推出了相关规定限制金融数据的使用。
数据使用的限制使得互联网数据分散在不同企业、组织中，形成了“数据孤岛”现象，各方数据不能直接共享或者交换
因此，如何在解决“数据孤岛”问题的同时保证数据隐私和安全，成为各界最关注的事情。这正是联邦学习（Federated Learning，FL）要研究的问题。
政府部门“数据孤岛”、数据运营商“数据孤岛”、企业“数据孤岛”示意图
（虚线表示无法流通，彼此独立）
从国内的现状来看，数据主要掌握在政府部门、数据运营商、企业三大“数据孤岛”中。数据被独立地存储于各个“孤岛”中，使得数据的共享十分困难。
结合目前国内外的企业、组织的数据存储现状和法律法规对数据共享的限制，“数据孤岛”问题面临多个难点：
1. 安全分享难，这不仅是数据管理技术的需求，还涉及信任问题。
2. 利用难，由于数据来源于不同的企业和组织，很可能在数据格式方面不统一，那么在融合时就会出现问题。
3. 传输难，即使可以交给对方或可信任的第三方，难以保证各方的传输速度及成本。
4. 定价难，数据作为一种无形资产，其价值也随着应用场景不断变化，因此数据产权难以确定、交易标的难以确定。
而联邦学习提供了一种解决数据安全和“数据孤岛”问题的可行性方向。
通过多方安全计算协议，密码学，以及差分隐私等相关技术，通过数据不动，模型动的思想，在保护各方数据隐私的前提下打通了孤岛，充分挖掘利用了各方数据的价值。
纵向联邦学习训练示意图
联邦学习有如下几点优势：
1. 数据隔离，数据不会泄露到外部，满足用户隐私保护和数据安全的需求；
2. 能够保证模型质量无损，不会出现负迁移，保证联邦模型比割裂的独立模型效果好；
3. 参与者地位对等，能够实现公平合作；
4. 能够保证参与各方在保持独立性的情况下，进行信息与模型参数的加密交换，并同时获得成长。
在学术界，联邦学习已经逐渐成为了顶会的热门主题。
在今年几场重磅会议中,联邦学习相关的论文数量相较去年明显增多，其中IJCAI 2020有20篇，AAAI 2021共18篇 ICLR 2021共15篇。
对于工业界而言，联邦学习俨然已经成为了解决数据孤岛问题的一项利器。
很多互联网企业纷纷投入研发资源，并进行市场布局。这项技术于 2016 年被谷歌提出，在 2019 年年初被引入国内，在 2020年即已出现数十家企业提供的产品，并出现了大规模的商业应用。
从技术层面来看，联邦学习是密码学、分布式计算、机器学习三个学科交叉的技术，需要掌握跨领域的综合知识。
并且越来越多的人关注到联邦学习这个新兴技术，希望系统地掌握联邦学习的原理，并在产业应用中解决具体问题。
《联邦学习技术与实战》正是在这样的背景下撰写和出版的。
本书由京东科技集团风险管理中心总监彭南博，以及京东科技集团风险管理中心算法科学家王虎撰写，两位均于2012年在中科院大学获得博士学位。
彭南博在人工智能算法、风控模型等领域具有丰富的实践经验。领导团队研发联邦学习技术和产品、模型管理体系、监控体系等。
王虎则负责联邦组网过程中的算法研究和模型优化，在联邦学习产品化、探索实践的过程中积累了大量经验。
本书基于实战经验撰写，详细地介绍了相关技术的原理和实战经验。
不仅深入浅出地讲解了具体的联邦学习算法，联邦交集计算以及联邦特征工程等理论知识，同样针对实践过程中可能遇到的通信、资源不足等问题给出了优化方案。在此基础上结合丰富的产业经验，对于联邦学习与其他领域的结合场景，如何设置激励机制和定价模型等问题，也给出了详细的解答。从多个维度帮助读者解决了联邦学习是什么，怎么用的问题，具有极强的实用价值。
▼希望本书可以带你进入联邦学习的世界，从此轻松连接数据孤岛！
本书针对产业界在智能化过程中普遍面临的数据不足问题，详细地阐述了联邦学习如何帮助企业引入更多数据、提升机器学习模型效果。互联网数据一般分布在不同的位置，受隐私保护法规限制不能共享，形成了“数据孤岛”。联邦学习像“数据孤岛”之间的特殊桥梁，通过传输变换后的临时变量，既能实现模型效果提升，又能确保隐私信息的安全。
本书介绍了联邦学习技术的原理和实战经验，主要内容包括隐私保护、机器学习等基础知识，联邦求交、联邦特征工程算法，三种常见的联邦形式，以及工程架构、产业案例、数据资产定价等。
对于联邦学习，你有哪些见解呢？
#欢迎来评论区讨论#
AI科技大本营 将选出三名优质留言
携手【博文视点】送出
《联邦学习技术与实战》一本
截至4月26日14:00点
60+专家，13个技术领域，CSDN 《IT 人才成长路线图》重磅来袭！
直接扫码或微信搜索「CSDN」公众号，后台回复关键词「路线图」，即可获取完整路线图！
更多精彩推荐
☞270亿参数的“中文版GPT-3”来了！阿里达摩院发布超大规模语言模型PLUG☞Azure 中国四年扩容 12 倍还不够，微软放话：全球每年新建 50-100 数据中心！☞微软每年豪砸安全研发 10 亿美元，聊聊背后的技术密码点分享点收藏点点赞点在看
相关文章：
css控制非固定文本自动换行
不知道为什么一直记不住这个属性，趁有时间整理了下下！ 强制不换行p.www_52css_com { white-space:nowrap; } 自动换行p.www_52css_com { word-wrap: break-word; word-break: normal; } 强制英文单词断行p.www_52css_com { word-br…
认清Hadoop和Spark的这几点区别，学习时才能事半功倍
很多初学Hadoop开发的同学分不清Hadoop和Spark究竟有什么联系？搞不清Hadoop和Spark是两个独立的框架，还是必须相互依存才能完成工作？今天就给大家分析一下Hadoop和Spark几点区别。Hadoop和Spark各是什么？HadoopHadoop是一分布式系…
Visual Studio2005奇怪的bug及解决【月儿原创】
Visual Studio2005查看设计器打开失败的bug及解决 作者：清清月儿 主页：http://blog.csdn.net/21aspnet/ 时间：2007.3.23 在WinForm中报如下的错： Form1 可以进行设计，但不是文件中的第一个类。Visual …
Windows Azure Pack集成配置SPF
前面文章介绍了Windows Azure Pack（WAP）的安装以及功能介绍，当然，仅仅安装还是不够的，我们还需要让WAP与SCVMM集成起来，管理我们的Cloud。今天介绍WAP与私有云交互的一个重要组件，Service Provi…
最高3000元/人 , 助你成为C站红人 !
每天早上起床我都会看一眼富豪榜，如果上面没有我的名字，我就去上班，现在每天早上起床我都会看一眼CSDN红人榜,如果上面有我的名字,我就开始走上人生巅峰之路,如果没有,不可能没有!C站红人计划招募啦 ！最高3000元/人助你成为C站红人…
关闭所有cloudfoundry应用进程
for appname in $(cf a|grep started|cut -d " " -f 1) do cf stop $appname done 转载于:https://www.cnblogs.com/husbandmen/p/7419724.html
经典SQL自定义函数
1、确定某年某月有多少天 实现原理：先利用DATEDIFF取得当前月的第一天，再将月份加一取得下月第一天，然后减去1分钟，再取日期的 天数部分，即为当月最大日期，也即当月天数 CREATE FUNCTION DaysInMonth ( d…
Grep学习笔记
1. grep简介grep （global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来）是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。Unix的grep家族包 括grep、egr…
安永创新中心落子北京，聚焦5G技术赋能企业数字化转型
4月21日，安永北京wavespace旗舰创新中心开幕仪式暨企业数字化转型高峰论坛在北京卓著中心举行，该创新中心致力于赋能企业的创新转型、业务增长以及推进前沿技术的商业应用，聚焦组建生态联盟，纳入最新产业理念，通过互联…
JavaScript模块化 --- Commonjs、AMD、CMD、es6 modules
随着前端js代码复杂度的提高，JavaScript模块化这个概念便被提出来，前端社区也不断地实现前端模块化，直到es6对其进行了规范，下面就介绍JavaScript模块化。 这篇文章还是希望能给大家一个比较好的思路，即JavaScript模块…
关于强命名程序集
如何创建强命名程序集（Strong Name Assembly）创建一个强命名程序集首先需要获得一个用强命名实用工具（Strong Name Utility，即SN.exe，.NET SDK自带）产生的密钥。下面简要介绍一下SN.exe的一些用法。要产生一…
get the better of sb
2019独角兽企业重金招聘Python工程师标准>>> get the better of sb 克服，占上风，打败 › to defeat someone in a competition:He fought fiercely, but his opponent easily got the better of him.› If a feeling gets the better of you…
安谋中国推出“山海” S12，AIoT 安全解决方案技术全解读
近日，安谋中国推出了自主研发的AIoT全栈安全解决方案“山海”S12，可应用于智能手机、平板、智能电视及安防等行业，为安全解决方案如数字版权保护、AI 安全、身份认证等提供基础安全能力。 据了解，此前安谋中国自研处理器IP已经推出…
js canvas游戏初级demo-上下左右移动
大概流程就是监听状态变化擦除画布重绘 由于js监听时间变化的函数addEventListener只能达到每秒触发20次左右，也就是每秒20帧，看起来有点卡卡的 所以用定时器搞到每秒30帧 按上下左右键可以移动砖块 <!DOCTYPE html> <html lang"en"&…
判断一个IP区间（或IP）是否被另一个IP区间所包含
以下方法实现判断一个IP是否被一个IP区间所包含 有一些静态方法可能引用了同名空间的自定义的类， 至于合并两个相临的IP段，可对其中的最大或最小IP1 using System;using System.Text.RegularExpressions; namespace HKH.Common{ /// <summary>…
制作OpenStack上使用的CentOS系统镜像
很多进行Openstack测试的人都发现，自己的openstack测试环境搭建的很成功，安全策略也添加了，但是上传镜像之后，却出现无法Ping通，无法ssh到实例等问题，实际上这很可能是由于我们没有使用一个正确的镜像导致的…
从最强AI算力到“元脑”2.0，智算加速产业变革
作者 | Just出品 | AI科技大本营（ID:rgznai100）AI模型的数据量、结构的复杂程度不断增加，带来了大规模AI算力的庞大需求。2020年7月，OpenAI实验室推出拥有1750亿参数的NLP模型GPT-3，其训练数据集规模超过500GB…
动态规划和分治法，贪心算法以及递归的再一次深刻理解和体会
每次体会算法都有新的感觉，刷题越多，对算法的理解感觉也就越深刻。下面我们来重新体会下分治法，动态规划，贪心法，递归的理解。1.分治法：将问题分成单独的阶段，每个阶段互相不干扰很独立…
基于注解的设计模式
2019独角兽企业重金招聘Python工程师标准>>> http://alexradzin.blogspot.com/2013/01/annotation-based-design-patterns.html 转载于:https://my.oschina.net/heatonn1/blog/204789
提气！清华成立集成电路学院，专研“卡脖子”技术
整理 | 寇雪芹头图 | 下载于ICphoto出品 | AI科技大本营（ID：rgznai100）今天上午，清华大学举行了集成电路学院揭牌仪式，党委书记陈旭宣读了学院成立决定并致辞表示，集成电路学院为学校实体教学科研机构&…
第一本的java 的小总结
1.Java常见的注释有哪些,语法是怎样的? 1）单行注释用//表示，编译器看到//会忽略该行//后的所文本 2）多行注释/* */表示，编译器看到/*时会搜索接下来的*/,忽略掉/* */之间的文本。 3）文档注释用/** */表示࿰…
WMI Series :事件预订和处理
WMI事件概述对于从事Winows编程的开发人员来说，事件驱动的应用程序设计是再熟悉不过了，但是WMI中的事件又是一个什么样的概念呢？对于宝贵的内存和CPU资源，管理员需要不断的监视其性能；对于磁盘而言，我们需要…
如何记录2秒内实现1800度转体+翻腾，百度智能云黑科技教你看懂跳水
百度智能云与中国国家跳水队协同推进人工智能与体育跨界合作再进一步，正在为我国AI体育的应用探索开拓一片新的大陆。4月22日，百度与中国国家跳水队举行合作启动仪式，百度智能云正式成为中国国家跳水队独家AI合作伙伴，助力中国跳水…
python 多线程日志切割+日志分析
楼主最近刚刚接触python，还是个小菜鸟，没有学习python之前可以说楼主的shell已经算是可以了，但用shell很多东西实现起来还是不可能的事情，例如最明显的一点大日志分析，由于楼主的公司，每天的日志量很大&…
redis入门（03）redis的配置
一、配置文件 Redis 的配置文件位于 Redis 安装目录下，文件名为 redis.conf。你可以通过 CONFIG 命令查看或设置配置项。 二、查看修改 1、查看配置 1.1、vi redis.conf 1.2、redis 127.0.0.1:6379> config get CONFIG_SETTING_NAME 2、修改配置 2.1、vi redis.c…
WMI Series :管理对象的信息查询和方法访问
管理对象的信息查询和方法访问在这一节内容，我们将通过几个实例来学习如何查询管理对象信息和访问管理对象提供的方法，这一部分内容将使用到我们在前面讲述到的System.Management命名空间中的相关类对象。管理对象的信息查询管理对象的信息查询有两种方式…
穿山甲发布聚合产品GroMore，为开发者变现赋能
近日，穿山甲发布聚合产品「GroMore」，该产品整合多个主流广告平台资源，支持App开发者将广告请求同时发送至多个平台，并根据各平台的出价能力，合理分配流量，最终达到广告收益最大化的目的。聚合产品在海外市…
使用SQLServer配置管理器配置SQLServer数据库引擎实例，以便侦听特定的固定1433端口。...
最近在安装SQLServer2012 SP1的时候，初始安装的情况下开启的是动态端口，为了使远程服务器连接到SQlServer我们需要开启固定的1433端口。 默认的端口状态。 开启的方法 配置相关的SQL实例的网络配置 重启SQLServer服务 查看一下端口状态 转载于:https://b…
P1194 买礼物
P1194 买礼物 题目描述 又到了一年一度的明明生日了，明明想要买B样东西，巧的是，这B样东西价格都是A元。 但是，商店老板说最近有促销活动，也就是： 如果你买了第I样东西，再买第J样，那么…
.NET 框架中的 WMI 命名空间
.NET 框架中的WMI 命名空间.NET框架中与WMI规范有关的命名空间有两个,分别是System.Management和System.Management.Instrumentation两个命名空间。其中System.Managemen命名空间提供的类对象为访问各种管理对象提供了面向对象的编程接口，而System.Management.Instr…