当前位置：首页 > 编程日记 > 正文

数据爆发时代，英特尔携手腾讯构筑全面的数据长城

编程日记 2024-10-31 17:10:00

作者 | 贾凯强

出品 | AI科技大本营（ID:rgznai100）

5G到来，边缘需求不断，IoT持续爆棚，数据在爆炸式增长。

在数据增长的过程中，相应的其处理能力也需要增长，CPU等算力核心也在提升，可是内存的容量和密度却无力增长，SSD性能整体没有提升，单位容量性能呈现出下降趋势。也就是说，数据爆炸的时代里，始终在呼唤一场属于存储的革命。这场革命不仅需要改变以往的存储结构，还需要在底层有所提升。

因此，英特尔在这一呼唤之下推出了傲腾系列技术产品，其本身可以作为存储的性能层，固态硬盘或磁盘可以作为容量层，以此来扩展存储性能。这一特点可以加速很多应用及工作负荷，尤其是在大内存数据库、快速存储的产品以及云产品等方面都有十分广阔的应用空间。当然，数据爆炸之后，用户对云上数据代码的完整性和保密性提出了新的需求，英特尔软件防护扩展（Software Guard Extensions，SGX）应运而生，作为为用户提供芯片级的安全保障，业界也把SGX 作为“机密计算”的典型代表看待。

腾讯是英特尔紧密的合作伙伴之一，在今年刚刚结束的腾讯数字生态大会2021之上，英特尔和腾讯的技术专家们便针对这两个话题接受了媒体的采访。

跨越数据库的合作，Tendis与傲腾的实践

据英特尔技术专家介绍，英特尔傲腾技术产品在业界有广泛的应用，跨越了不同的行业，涵盖了不同的工作负载，为更多客户带来性能和容量方面的优势。尤其是面向更高的虚机密度、容量时，可以带来更好性能和更低成本的优势。

数据库行业的形势来看，分久必合，合久必分。腾讯云数据库副总经理罗云介绍称，以往腾讯NoSQL产品线上有很多产品，但最近发现，这些细分领域的各种数据库产品趋势在向另一个方向演化，用户可能需要能力更强的单体数据库以覆盖更多场景。传统的数据库，会用Redis+MySQL两层架构构建用户业务数据库后台。但是对用户来讲，数据双写、双读、缓存一致性等问题会非常复杂。而腾讯打造的新一代Tendis就是把NoSQL和MySQL两个数据库结合在一起，减轻客户解决复杂问题的难度。

此前，Redis已经受到很多开发者的热爱，其本身是基于内存使用的，但是开发者却习惯于利用Redis本身带有的AOF机制将其作为存储来用，这使得20%的用户在Redis下选择了不再挂其他存储。这样做无疑是存在风险的，腾讯便开始考虑是否可以让开发者享受Redis高性能的同时补足其无法持久化的短板。英特尔傲腾的价值之一就是能够解决内存不能持久化的问题，其本身具备接近内存的性能，同时能提供持久化的能力，使得Redis生态中和傲腾硬件碰撞出了不同的火花。

英特尔技术专家认为傲腾可以帮助技术产品在对应场景中的融合和发展，比如傲腾持久内存虽然是内存形态产品，其延时非常接近于DRAM，却又有持久的特性，同时还有大容量、高寿命、字节可访问等特性。这些特性很像过去的DRAM，因此很多编程方式也会像DRAM的方式。同时其具备持久特性，可以加速Tendis相关方面的性能，不需要结合SQL数据库产品就可以为用户提供可持久化的完整数据库产品。

当然，在技术落地时，诸多问题的解决需要还需要不断的迭代。腾讯在迭代Tendis的时候，并不能简单的把Redis的引擎放到Tendis上，而是完全从零开始去设计引擎。整套引擎的设计思路需要解决如下问题：首先，如何利用傲腾去完成数据持久化。由于数据库的复杂性存在，数据无法直接在傲腾上写入，腾讯需要解决稳定的延迟，以及在持久化方面固定的选型。其次，持久化解决后，需要解决数据高效访问的问题。Tendis团队在访问层设计了一套全新的、与傲腾完全匹配的随机内存字节寻址特性，其在传统哈希基础上，打造了类似哈希增强的核心数据库索引引擎。而在存储层，Tendis需要结合傲腾对热数据存储效果和SSD冷存储的两层数据完成对用户的请求，在没有block的情况下要做好热数据的淘汰机制，这就需要做好冷热数据的区分。因此，腾讯云新一代Tendis自研的KV引擎与英特尔傲腾技术进行了紧密融合和应用。而这一切都得益于腾讯和英特尔团队的多轮沟通，最终才确定了一个比较好的解决方案。

可信协同共享，实现端到端安全

数据流动与共享已成大势所趋，而一套强有力的保护机制将会使之事半功倍。在英特尔第三代至强可扩展处理器发布时，处理器中便提供了一项重要的系统功能——软件保护扩展（SGX），SGX是基于硬件的可信执行环境，可以为云上数据代码的完整性和保密性提供芯片级的安全保障。而在数字生态大会2021上，腾讯云便基于区块链赋能和SGX技术，推出了数据要素共享平台腾讯云数链通升级版本，新升级的腾讯云数链通在海量数据处理、模型调度、任务调度、便捷化部署、灵活扩展等方面有了全面的提升，助力数据要素市场化发展浪潮。

面对海量数据下的数据融合、数据联合计算需求，在数据安全和数据隐私保护之间的矛盾,并且随着数据量的增加，这个矛盾愈发明显。因此，腾讯云数链通结合了机密计算和区块链技术，为用户提供建立起可信且可溯源的数据交互机制，打破数据壁垒，实现数据融合应用。

腾讯Blade Team技术负责人张博表示，”我们前期调研了机密计算，认为 SGX是一个很好的技术，数链通的底层架构基于英特尔的SGX技术，构建了从底层硬件到上层软件栈的整体方案。“

“在计算过程当中，通过SGX的可信计算能力，保护我们在计算过程当中的数据安全和隐私，从而更好实现用户业务数据价值的挖掘。”腾讯云数链通产品负责人刘江说，通过腾讯云数链通产品，实现链上数据加密实时共享，链下安全验证可信交换，数据可用而不可见，最大程度的实现数据确权、数据安全、数据共享，最终达到数据可信的目标。

腾讯云数链通为客户提供了三个层面的价值：数据生态的构建、数据治理的延展、数据价值的挖掘。腾讯搭建的机密计算技术是自主向上的复杂技术栈，底层核心硬件依赖于英特尔第三代至强可拓展处理器提供的SGX2.0技术，其内存可以达到1TB，分配给机密计算应用的内存可达512G。这样的内存量可以满足海量数据的计算，解决大数据量联合分析需求，包括机器学习训练和推理的问题。基于底层的硬件平台可以让客户业务低成本的接入使用，底层往上是机密计算相关功能，再往上便是相关应用场景。

机密计算是英特尔耕耘十年的一个领域，其在服务器处理器上进行了硬件搭载。机密计算的需求是明显的，其能够保护个人隐私数据。当个人数据放在云上或者远端系统时，如果在内存里面被代码访问，截止到目前还没有特别有效的方式能够在内存中进行安全隔离。但是在机密计算提出之后，个人隐私数据在云端服务器内存中进行计算的时候，可以在内存中处理时提供安全保障，这是最典型的机密计算应用；再者是保护企业知识产权，一些企业有很多特殊的处理算法，算法如果被其他没有授权的第三方获取了逻辑以及矩阵中的关键数据，会造成企业知识产权的流失，机密计算可以进行适当的隔离，在操作系统里面即使有高权限也不能非法拿到关键信息，这样可以使得企业的知识产权在内存得到保护。

在芯片安全方面，在企业上云的时候，在上云的过程中租户或者企业客户对自己的数据上云之后是否处于自己的管控下有要求，这种情况下机密计算提供新的可能，让企业上云的时候对云上数据保护有增强的可信感提升。同时，其还可以消除数据孤岛，在数据隔离的情况下通过把算法加载到本地可以做到在数据分享和流转过程中的控制。因为机密计算是在内存中提供的核心执行环境，其非常需要和广大的生态伙伴一起，提供硬件基础能力，提供强大的研发能力和软件能力，实现软硬件结合的新算法和事业。

英特尔技术专家指出，SGX的特点是在计算过程当中来保证数据的安全，在数链通产品当中，其可以把受保护的数据进行融合，然后在SGX系统可信执行环境当中进行安全计算，计算之后把结果反馈给用户，挖掘数据中的价值，保障其安全。

当时代从云端走向边缘，数据爆炸的趋势并未放缓。一方面数据业务上升，我们对于算力的需求不断增加；另一方面数据安全重要性也在成为每个企业都必须考虑的难点。英特尔与腾讯的合作就像为海量数据的流通与使用披上了一层坚甲，让数据的使用者更加安心，让企业也能不必考虑过多的安全难题。

https://www.dkcj.cn/info/25480.html

数据爆发时代，英特尔携手腾讯构筑全面的数据长城

跨越数据库的合作，Tendis与傲腾的实践

可信协同共享，实现端到端安全

相关文章：

python3 _笨方法学Python_日记_DAY3

动漫风格迁移 AnimeGANv2 ，发布线上运行 Demo

linux学习笔记一

解决SecureCRT中文乱码

7000 字精华总结，Pandas/Sklearn 进行机器学习之特征筛选，有效提升模型性能

徒手撸出一个类Flask微框架（三）根据业务进行路由分组

TCP编程函数和步骤

OSD的主要实现方法和类型（转）

为什么要研究游戏 AI 呢？

oracle 工具：tkprof

Linux环境编程--文件基本操作

Firefox插件

马斯克公开支持“上班摸鱼”：让工作更愉快！

瀚思首发三款产品推动大数据安全战略布局

Linux环境编程--编辑器基本操作

2021 IDEA大会开启AI思想盛宴，用“创业精神”做科研

Android不同分辨率和不同密度适配

网络工程师成长日记333-某城市政府项目

linux环境编程-- ftok()函数

使用 ChatterBot 库制作一个聊天机器人

powerDesign设计随笔

Apache Kylin在绿城客户画像系统中的实践

linux环境编程--IPC 之 msg queue

2021 IDEA大会圆满落幕，一文回顾大会精彩看点

【转】Android下编译jni库的二种方法(含示例) -- 不错

linux下如何修改系统时间

thttpd服务器

链接产业聚变未来 | 移动云区块链开发者论坛来了

Bzoj4016: [FJOI2014]最短路径树问题

libevent源码深度剖析