当前位置: 首页 > 编程日记 > 正文

破解数据流通痛点,华控清交的隐私计算之道

从无序中寻找踪迹,从眼前事探索未来。

正值 IT 黄金十年新开端, CSDN 欲以中立技术社区专业、客观的角度,深度探讨中国前沿 IT 技术演进,现在推出年度重磅企划栏目——「拟合」,通过对话企业高管大咖,跟踪报道企业前沿技术资讯,分享真知灼见,以点到面折射出中国 IT 技术最新动态,传播技术影响力,帮助开发者与企业捋清思路,共创数字经济新未来。

技术变革机遇和挑战并存,当下安全漏洞、攻击事故频出,如何保障企业的信息安全?

本期「拟合」将聚焦安全话题,追踪行业安全知名企业,打响“隐秘的角落”安全之战。

作者 | Just

出品 | AI科技大本营(ID:rgznai100)

可以肯定的是,赚钱不是他再次创业的首要原因。“从一个穷孩子成为高盛全球合伙人,够了。”从高盛退出时,他还不到50岁,名利双收。

然而,在享受了四年自由的退休生活后,他却感受到了不再被社会需要的恐惧,想从这种“社会性死亡”的状态中挣脱出来。

创业是其中一个选择,他已经有过一次创业经历。1999到2005年间,正是互联网泡沫破灭之时,彼时,他创办了安家网和做二手房按揭服务的安家集团。但最终,由于国家房地产宏观调控政策和商业模式的问题,公司没做下去。十多年前的一次创业挫折,还让他心有不甘。

2017年,经过与清华大学交叉信息研究院教授徐葳等人的交流,他更确信了自己对人工智能的已有认识:人工智能的根本是数据,而算法是数据智能的开发工具。当时,他对人工智能的发展不以为然,“我觉得人工智能没戏,就像每人手里一杯水,折个小纸船放到自己的杯子里‘跑人工智能’。如果这杯水不能汇聚成大湖大江大海,人工智能的船就跑不远。” 不过,徐葳等人告诉他其实,既分享数据,又不给出原始数据这件事,理论上早就解决了。” 这个“理论”就是多方计算理论。

正是这句话,促成了华控清交这家公司,目前担任公司董事长、CEO的张旭东对AI科技大本营回忆道。

“数据可用不可见,使用可控可计量”

早在2014年,徐葳带领姚班学生开始探索把多方计算理论技术化和实用化,这在当时已有技术原型。2018年,清华大学通过转化多方计算的科研成果发起成立了华控清交,而徐担任首席科学家一职,通过商业化运作解决业界数据流通这一难题。

众所周知,出于数据隐私和数据安全的要求,数据孤岛成为数字经济发展的一大障碍,业界对促进数据流通、释放数据价值的呼吁由来已久。张旭东分析,数据流通的作用主要表现在三个方面:

第一,数据要素化,其实就是对数据的货币化和市场化。通过市场进行货币化,通过货币化来激励市场化。

第二,政府部门间数据打通,并向社会共享开放,可以使数据更好地为数字经济服务。企业也需要把数据货币化,让数据成为资产。智能化社会和数字经济需要数据流通起来。这些都需要管控数据用途,防止数据滥用。

第三,打破数据垄断。大量数据的聚集和不流通导致应用要跟数据走,所以有数据的企业可以做各种应用,而如果数据可以流通,就可以跟着应用走,这是打破数据垄断的根本手段。

问题是,既然数据流通的价值无可争辩,那为什么以前数据就没有大规模流通起来?

张旭东解释,从信息学的角度来看,明文数据的特点是能被人和机器“看见”,一旦被“看见”,就暴露信息,就可被复制,复制成本极低,传播速度极快,就无法控制用途和用量;数据价值在于它所承载的信息不对称性,明文数据传递的过程,恰恰是数据价值灭失的过程。而从经济学角度来看,明文数据的供需是无限供应和无限需求,无法定价。这两个因素使得明文数据流通在理论上是个伪命题。

在大数据和人工智能时代,机器已经取代人成为数据的最主要使用方。华控清交运用多方计算和其他密码学理论把数据可见的信息部分和用不着看见就可以进行计算的使用价值区分开, 做到“数据可用可不见。”

同时,把数据使用方法限制在规定的算法上,颗粒度精确到一个基础运算符号的差别。这样就把数据的特定使用权从数据的所有权中分离出来,使得真正流通的不是数据本身,也不是明文数据,而是数据的特定使用权,做到“使用可控可计量”。

解决了基础的技术问题,数据流通却并不意味着像在“菜场”那样卖数据的使用权。张旭东指出,数据流通的本质并不是数据使用价值的直接传递或转手,而是整合和配置数据资源(包括多方数据、算法和参数),通过算力和带宽进行加工,把计算结果交给结果获得方的过程。这个过程就是为了杜绝数据使用方“把原材料拿回家”进行加工滥用的风险。所以他认为,数据流通更像是在“餐厅”完成的。

始于多方计算,要建设数据流通基础设施 

数据流通的基础设施构建离不开底层的隐私计算技术。该技术主要有基于密码学理论的多方计算、基于明文的隐私保护技术(数据脱敏、差分隐私和联邦学习)和基于对硬件信任的可信计算三大部分组成。

张旭东对这三个技术做了简单比较:基于明文数据隐私保护技术的优点是非常容易上手,但问题在于它的安全性尚缺乏理论证明,其中联邦学习一对一第形成的数据闭环无法监管,不能有效控制用途。可信计算的优点是计算效率高,缺点是必须信任芯片生产厂商。多方计算的安全性有密码学的数学证明,但它的技术门槛高,算力耗费高。 

华控清交主要以基于密码学的多方计算技术为主,包括同态加密、秘密分享、混淆电路、零知识证明、不经意传输等。相较其他两大分支技术,他认为多方计算更准确通用,可以做联合查询、联合统计、联合建模、数据跨境融合等,运用的是代理计算架构。该架构有效地融合了中心化的管理机制和去中心化的信任的设置。

当然,构建基于多方计算的“餐厅”同样存在需要解决的难题。

首先,需要持续降低计算耗费。相对于明文计算,密文计算的算力成本比明文高出约5~6个数量级。华控清交通过对密码学应用、安全协议、分布式计算、系统、算法、数据库、编译和芯片的全方位的系统性的优化、发明明密文混合计算等,把多方计算算力耗费降到了1-2个数量级。

其次,降低多方计算平台的技术门槛。他们把底层的芯片、指令集和中间层的密码学、安全协议、以及跟各种函数库和数据库,和最上面上层的应用都进行了层层解耦;从编译器和指令集层面用密文替代明文的基础运算操作(加法、乘法和比较),并改写相应的衍生运算的算法库,形成了密文计算体系。普通的开发者只要知道怎么写Python、SQL和Java,就能像在明文环境中一样去开发“数据可用不可见”的具体应用。

为了进一步降低开发者上手门槛,他们还打算逐步将平台开源。张旭东称,开源的最大目的是在开发者群体中普及,并且开源软件往往是最安全的。目前,他们现在已经完成了相应的SDK和API,今年会把基础版开放给渠道和集成商。

围绕多方计算技术,华控清交团队从0到1完成了技术工程化;进行产业化升级后,已开始着手基础设施化。现在,他们已开始着手建立数据流通节点,最终要让数据能够像水电煤一样无感流通。 

张旭东用电话交换机的运作方式进行类比:一个大型的数据节点就是一个“总机”,同时能连通很多“分机”(小的数据节点),节点之间通过代理计算架构联系;然后把“总机”相互连通起来,就形成了一张数据流通网;所有数据节点都可以在这个体系内通过跳转,与任何其他数据节点进行协同计算。

比如大型国有银行可以通过人脸特征值的密文比为小银行提供人脸识别能力等。他认为,这样的能力输出其实就是数据智能的输出,正如百度地图把数据智能输出给用户进行导航一样。去年,华控清交已经具备实现连通不同城市、企业间 “总机”的连通能力。

改变数据生态,从怀疑到满怀激情的创业路

起初,张旭东也曾对“既分享数据,又不给出原始数据”的说法存疑,因为这种说法听上去似乎是矛盾的。

在与徐葳等人沟通后,他去看了在1982年发表的关于“百万富翁问题”的论文,他看懂了。1986年,姚期智又证明了凡是可以在明文计算的结果都可以进行密文计算,他没看懂这篇论文。

直到华控清交成立半年内,在与港交所的一次合作中完全验证了“数据可用不可见”的技术体系,这次彻底打消他的疑虑。

对“数据可用不可见”的质疑不只张旭东有过。他还记得,华控清交的第一个销售是2019年3月13日开始上班的,然后他们开始去见政府、金融、电信等客户,那时客户大多对这一技术理念表示怀疑。

现在,随着标杆应用和标杆客户的落地,以及政府层面相关技术标准的出台,已经很少有人再和华控清交讨论密码学技术对不对的问题。他们的目标也已经不再局限于隐私计算,而是要成为国家数据流通基础设施的建设者。

在张旭东看来,数据流通会催生想象不到的新商业模式和价值实现方式,而基于数据流通的新的数字经济生态,都将建立在数据流通的基础设施之上。

对改变数据生态这件事,他的兴奋溢于言表,“赚钱的事先不说,这是为国家真正的做点事,而且再次创业又让我活过来了,你看我活过来了没?活过来了是不是?激情!”

更多精彩推荐
☞AI 3D 传感器市场竞争白热化,中国掌握自主可控核心技术时不我待!☞小心!你家的 IoT 设备可能已成为僵尸网络“肉鸡”☞换脸火了,我用 python 快速入门生成模型点分享点收藏点点赞点在看

相关文章:

mac系统添加VSCode到右键菜单(转)

转自:https://www.liaoxuefeng.com/wiki/001434446689867b27157e896e74d51a89c25cc8b43bdb3000/001470969077294a6455fc9cd1f48b69f82cd05e7fa9b40000 在Mac系统上,Finder选中一个目录,右键菜单并没有“通过Code打开”这个操作。不过我们可以…

在 C# 中通过 P/Invoke 调用Win32 DLL

,.NET Framework 1.0 或 1.1 版类库中存在任何 Windows 所没有的功能限制都不足为怪。毕竟,32 位的 Windows(不管何种版本)是一个成熟的操作系统,为广大客户服务了十多年。相比之下,.NET Framework 却是一个…

xp/2003开关3389指令

开启3389: echo offtitle 开启3389clsrem 开启3389reg add "HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Terminal Server" /v fDenyTSConnections /t REG_DWORD /d 00000000 /f >nulecho.echo 提示你:3389已经开启 关闭3389&…

TIOBE 新榜单:Python 超越 Java 重回第二,Rust 崛起

作者 | 苏宓出品 | CSDN(ID:CSDNnews)TIOBE 官方最新发布了 5 月的编程语言榜单,不妨一起来看一下本月榜单中又有哪些最新的变化呢?Python 重回第二和 4 月相比,本月榜单的 TOP 10 中变化最大的非 Python 与…

Docker编排工具Fig介绍

本文讲的是Docker编排工具Fig介绍,【编者的话】Fig是一个基于Docker的用于快速搭建开发环境的工具,目前Fig团队已经加入Docker公司。Fig通过一个配置文件来管理多个Docker容器,非常适合组合使用多个容器进行开发的场景。Fig可以和Docker一起来…

java调用ffmpeg,mencoder进行视频转换,读取时长等

2019独角兽企业重金招聘Python工程师标准>>> 以前做的一个基于ffmpeg的视频格式转换的程序,现在抽空整理一下,很多地方都是从别的大神那借鉴的,只是把自己的觉得有用的,对别人有帮助的拿出来分享分享,下面是…

数字人民币实现可控匿名交易?产业升级离不开安全可信的“数字底座”

自央行进行数字人民币试点测试工作以来,人们讨论最多的可能是它的便捷性、匿名性。不过,它的意义远不止于人类个体层面。 作为一种面向未来的货币形式,在未来数字经济时代,央行数字人民币的普及无疑将加速全球资产数字化和身份数…

apache+tomcat 搭建负载均衡系统

apachetomcatmod_jk 搭建负载均衡系统。0.os系统采用centos6.8 x64 2.6.32-642.el6.x86_641.首先安装好jdk环境本次采用jdk-8u111-linux-x64.gz jdk和jre的安装目录要不同,否则的话lib目录下没有dt.jar 和tools.jar 要配置好环境变量如下 vi /etc/profile #ad…

从普本到北大:我的跨校跨专业考研经验

首先做一个我考研情况的简介。 经历了2013年考研的混战,据说是史上考研人数顶峰的年份,因为2014改革,不再有自费生之后,人民群众对于所谓学术硕士的需求量激减,继 而投奔价格费用相当,读书年份较少的专业硕…

C#中使用DirectX编程

我感觉声音的播放比较简单。我们从播放声音开始。为什么我这么觉得?我也不知道。这里是展示最最最最最简单的DirectX播放声音的例子,我尽量省略了无关的代码。最后的代码只有19行,够简单了吧? 准备工作:1.安装了Direc…

40+场面试,100%通过率,我想分享的14条经验

来源 | 陈同学在搬砖头图 | 下载于视觉中国大家好,我是陈同学,首先来一个简单的自我介绍和个人的经历分享。我的本科和硕士均就读于哈工大,在研究生期1年时间内自学操作系统、计算机网络、C、数据结构等,累计学习30本书、500博客文…

云端卫士架构师讲DDoS攻击的智能防御之道

DDoS即分布式拒绝服务攻击,这是一场关乎资源的较量,攻击者通过自己控制的大量僵尸主机,向目标设施(服务器、运营商网络和基础架构等)发起洪水猛兽般的流量型攻击,或是连绵不绝的应用型攻击。 如果将受害者比…

C#中方法参数的四种类型

C#中方法的参数有四种类型:-值参数:不含任何修饰符。方法中的形参是实参的一份拷贝,形参的改变不会影响到内存中实参的的值,实参是安全的。-引用参数:以ref修饰符声明。传递的参数实…

赠书 | 算力时代,用 Python 来快速解决复杂问题

Python作为一种编程语言,拥有简洁、高效的表达能力。与此同时,Python语言环境中还配备各种软件库,即模块。结合实际问题,选择适当的模块,便可生成简单、快速、正确的程序。书中列举了一些数值计算的简单例题&#xff0…

用for实现Go的while和do...while

Go的while和do...while实现 Go语言没有while和do...while语法,我们可以通过for实现:即break在业务代码执行前相当与while,break在业务代码执行后相当do...while while for {if condition {break}xxxxxxxx } do...while for {xxxxxxxxif cond…

DTCC:数据库安全重点在数据拷贝过程中

本文讲的是DTCC:数据库安全重点在数据拷贝过程中,2017年5月11日-13日,2017中国数据库技术大会于北京国际会议中心盛大开幕。作为国内最受关注的数据库技术大会,本届大会以“数据驱动价值发现”为主题,汇集多个领域的百…

Log4J配置方式Java工程测试

2019独角兽企业重金招聘Python工程师标准>>> Log4J配置方式 1、 导入jar包 Commons-logging .jarLog4j-1.2.17.jar2、 编写log4j.properties 文件 ############## ############################## 优先级 INFO ,输出到console_log 和filelog 两个位置 log4j.root…

C#“装箱”(boxing)与“拆箱”(unboxing)

装箱和拆箱:任何值类型、引用类型可以和object(对象)类型之间进行转换。装箱转换是指将一个值类型隐式或显式地转换成一个object类型,或者把这个值类型转换成一个被该值类型应用的接口类型(interface-type)…

无人机、IoT 设备都有漏洞?专访以色列老牌安全企业Check Point | 拟合

从无序中寻找踪迹,从眼前事探索未来。2021 年正值黄金十年新开端,CSDN 以中立技术社区专业、客观的角度,深度探讨中国前沿 IT 技术演进,推出年度重磅企划栏目——「拟合」,通过对话企业技术高管大咖,跟踪报…

sql server 在占用服务器内存居高不下怎么办【转】

在管理一个测试服务器的时候,内存使用率居高不下,在资源管理器中查看到 sql server 2008 占用了80%的系统资源,于是找到了一下资料,并解决了Sql Server 2008 占用内存过大的问题。 转自百度经验http://jingyan.baidu.com/article…

C# checked、unchecked操作符

checked和unchecked操作符用于整型算术运算时控制当前环境中的溢出检查。下列运算参与了checked和unchecked检查(操作数均为整数):1) 预定义的++和――一元运算符。2) 预定义的-一…

TPAMI 2021 | 深度赋智AutoDL系列竞赛世界冠军方案首次公开

导读:「深度赋智」斩获NeurIPS-AutoDL 2019系列竞赛总决赛世界冠军,在图像/音频/视频/文本/表格不同场景的十个数据集上稳定获得八项第一和均分第一。为共同推动AutoDL技术的快速发展,冠军方案的技术细节首次公开,最新相关论文已被…

转: 如何实现jQuery的Ajax文件上传

【PHP文件上传】 在开始之前,我觉得是有必要把通WEB上传文件的原理简单说一下的。实际上,在这里不管是PHP,JSP,还是ASP处理上传的文件,其实都是WEB早已把文件上传到服务器了,我们只是运用上传处理函数来处理…

Mybatis遍历查询 ——foreach

第一步&#xff1a; 在xxxMapper接口中添加一个函数&#xff0c;返回一个list&#xff0c;这里的参数是一个integer类型的集合 public List<Emp> findEmpByList(Param("list") List<Integer> list); 第二步&#xff1a; 在xxxMapper.xml 中添加statement…

C#中如何获取注册表信息

实现方式&#xff1a;利用Microsoft.win32类提供的注册表类访问系统注册表获取ODBC数据服务列表。 具体实现&#xff1a; Microsoft.win32提供了RegistryKey类&#xff0c;用来访问系统的注册表。 ///定义注册表子Path string strRegPath "SOFTWARE/ODBC/ODBC.INI…

用 Python 实现隐身,我可以 | 文末福利

作者 | 李秋键头图 | 下载于视觉中国出品 | AI 科技大本营&#xff08;ID:rgznai100&#xff09;引言&#xff1a;视频和图像的隐身术是指在视频或者图像中中&#xff0c;在没有任何输入遮罩的情况下&#xff0c;通过框选目标体&#xff0c;使得程序实现自动去除视频中的文本叠…

改变myeclipse北京颜色

经常用 MyEclipse 写代码&#xff0c;时间久了会觉得白色的背景颜色很刺眼&#xff0c;于是乎便想要换一种柔和些的颜色来缓解视力疲劳&#xff0c;那么怎么样来修改 MyEclipse 代码编辑区域的背景颜色呢&#xff1f; 依次展开菜单 Window >> Preferences >> Gener…

redis 代理工具Predixy安装部署

PredixyPredixy 是一款高性能全特征redis代理&#xff0c;支持redis-sentinel和redis-cluster特性高性能并轻量级支持多线程多平台支持&#xff1a;Linux、OSX、BSD、Windows(Cygwin)支持Redis Sentinel&#xff0c;可配置一组或者多组redis支持Redis Cluster支持redis阻塞型命…

超级详细的 Python 数据分析指南

来源 | 算法进阶头图 | 下载于视觉中国前言&#xff1a;数据分析是通过明确分析目的&#xff0c;梳理并确定分析逻辑&#xff0c;针对性的收集、整理数据&#xff0c;并采用统计、挖掘技术分析&#xff0c;提取有用信息和展示结论的过程&#xff0c;是数据科学领域的核心技能。…

C#实现-移位加密

/* Filename: encrypt_string.cs Author : zhanghua Date : 2005-08-11 Fuction : input a strig and encrypt a string 加密后的字符串的第一个字符是原先字符串的最后一个字符&#xff0c; 其余的每一个字符是对应的原字符串中的前一个字符的值…