一张“黑洞”需要拍两年?有了它或许就不会让大家等那么久了
只闻其名,不见其形,从小听到大的”黑洞“,终于让我们在有生之年见到了它的真容,只能说幽暗的宇宙美丽也调皮,长久以来人类关于黑洞的探索,在这一刻终于得到影像印证。相信很多人心中都有一个疑惑,为黑洞拍张照片需要两年时间?究其原因一个字“难”!难在哪?“数据”!
首先,望远镜观测到的数据量非常庞大,2017年时8个望远镜的数据量达到了10PB,2018年又增加了格陵兰岛望远镜,庞大的数据量让数据处理的难度不断加大,且在数据处理的过程当中还伴随着不少技术难题。
这张“冲洗”出的照片,蕴含着复杂的后期数据处理分析,而这一过程中涉及的数据量之多,处理难度之大都是前所未有的。那有没有办法,尽快揭开宇宙神秘的面纱?有没有办法,在面对庞大数据量的时候,我们有更高效快捷的方式去处理它们呢?
强势应对海量数据 内存分析放大招
就拿一张小小的黑洞照片来说,它背后的数据量需要一万块 500GB 硬盘才能装满,而这一万块硬盘高达半吨之重,这么”重“的数据,分析起来已经够难,还想要快速分析那更是难上加难!庞大的数据量不应该成为人类进步的绊脚石,恰恰相反,将其中蕴含的价值挖掘出来,我们将拥有无限宝贵资源。
根据IDC预测,到2025年,全球数据量将从2018年的33ZB增加到175ZB,随着接入大容量数据能力的提高,从这些数据中提取价值的需求势必也在提升。而这也意味着我们了更广泛的工具选择,其中内存分析就是一个绝好的工具,那么它在处理海量数据时到底有多靠谱?
首先,顾名思义,内存分析就是将数据在存储层向上移动,使其更接近CPU,以便加快内存访问速度以更快地进行分析,并缩短获取洞察的时间。所以,倘若那半吨重的数据,运用内存分析或许我们就不会等那么久了。
内存分析的优势可不少,其中包括降低IT成本、简化基础设施、延长运行时间、降低时延、优化数据同步、减少数据副本以及缩短开发周期。此外,更快速地提供大量更深入的实时洞察,从而帮助创造新的机会,以推动和增强服务交付。
光说不练假把式 应用案例来一遍
内存分析如此强大,在助力临床医疗、零售业、金融服务业、智能运营供应链、呼叫中心和客户流失方面都已全面落地,并表现出色。下面我们就来看看运用内存分析解决行业痛点的两个真实案例,一睹其风采。
全球领先的专业化学品公司Evonik,致力于实现总体拥有成本(TCO)效率的进一步提升,经过精挑细选,最后采用了内存分析方法解决了实际工作中遇到的难题。现在Evonik可以灵活并更高效地将数据集集成到其SAPHANA*平台中,并做好存储大容量数据集的准备。除此之外,一家提供全国广告产品的ZypMedia公司,借助内存分析确保了每秒处理大约500,000个事务请求,响应时间低至半毫秒,凭借速度和灵活性提供这种高质量服务。
深入了解内存分析 传统架构已力不从心
内存分析已经在如此多的场景顺利落地,并帮助企业巧妙化解行业难题,相信好奇的宝宝们心中已经有了一个疑问,如此强大的内存分析,需求一定少不了,这对于IT负责人来说挑战可不小,因为他们需要从更大的数据集中提取更多价值。此时,不得不考虑他们所采用的架构能否支持内存运营,以及如何满足目前和将来的需求。
由于架构方面的需求基本取决于组织的能力和经验,而传统的架构可能会使用运营数据库来存储和管理当前数据,在将这些数据发送到组织数据仓库进行分析前,需要先对其进行批处理。然而,在许多企业中,这一模式正在逐渐被单一混合事务和分析处理架构取代,如此一来,便可以为一些受益于内存分析的关键平台和应用提供支持。而如果考虑采用HTAP,则需要考虑哪种形式更适合当前业务。然而,内涵式HTAP则更进了一步,其将分析功能嵌入事务本身以影响其结果。
不难发现,更高的工作需求,要求我们必须采用支持实时数据处理和分析的IT基础设施。那么,到底有没有一种架构可以完美支持所需内存运行,并能够满足目前和将来的需求呢?答案来了,上面提到的化学公司正是借助了英特尔®傲腾TM数据中心级持久内存,改善了实际性能和总体拥有成本;而广告产品公司则借助英特尔®至强®可扩展处理器,实现了动态广告投放。
而这一切都要归功于英特尔®至强®平台构建内存分析堆栈,让采集和处理大容量数据能力大大提升,已达到帮助行业实时甚至提前识别趋势与洞察并做出响应。由此可见,存储和内存方面的创新型产品,确实将困扰我们的数据难题快速解决消化,不信你接着看,适用于数据中心的英特尔®傲腾TM固态盘,其采用非易失性内存技术,可提供类似DRAM的性能并具有固态盘存储的持久性。为了推进这一变革,英特尔®傲腾TM数据中心级持久内存,配备全新一代的英特尔®至强®可扩展处理器,将此优势与CPU内存总线直接结合。这样一来,可更好地兼顾高容量、经济性和持久性。
极简内存分析 助力数据资源价值最大化
数据处理能力永远赶不上生成数据的速度,因此,必须将数据战略的重点放在充分发挥数据资源的价值上,那么如何将好钢用在刀刃上呢?为简化内存分析,英特尔不仅设计并优化了一系列数据中心技术,用以加快数据驱动型洞察,还在存储架构上做了不小的文章,使得内存容量超出DRAM限制,更好地兼顾性能和成本。如此一来,就可以提供内存分析工作负载通常所需的快速可扩展性和灵活性。除了持续致力于硬件创新外,它们开发了通过基准测试且完全集成的软件和硬件堆栈,支持特定工作负载,缩短服务交付时间和上市时间。
内存数据库已不单单是面向特殊分析工作负载的一种昂贵方案,而是在向着实现更广泛的目标转变。从人类生活到行业应用,甚至到宇宙探索,人类数据正以指数级增长,面对海量数据,如何充分发挥数据资源价值,基于英特尔®至强®平台构建的内存分析堆栈给了我们最好的答案。当然我们也相信,未来英特尔将会有更多的创新与探索,为企业数据带来革新的同时,创造无限可能性。
相关文章:

如何在一场面试中展现你对Python的coding能力?| 技术头条
点击上方↑↑↑蓝字关注我们~作者 | wLsq 来源 | Python数据科学(ID:PyDataScience)如果你已经通过了招聘人员的电话面试,那么下面正是该展现你代码能力的时候了。无论是练习,作业,还是现场白板面试,这都是…

Django web : CSRF verification failed. Request aborted.
错误标题:CSRF verification failed. Request aborted. 错误描述: HelpReason given for failure:CSRF cookie not set.In general, this can occur when there is a genuine Cross Site Request Forgery, or when Djangos CSRF mechanism has not been …

分享一个PC端六格密码输入框写法
如图。我们一般做商城类的项目不免会用到支付密码输入框,我研究了下并决定发上来,也当作是自己成长路上的一点小小的记录。本次介绍的是基于vue的项目 html: <template><div classam_payPwd :id"ids_${id}"><input …

【数据库】sqlite中PRAGMA命令说明
关于sqlite中PRAGMA的说明网上已经有很多了,这里不再复制粘贴,只把内容最全的网址连接记录一下: 官网说明(英文):https://sqlite.org/pragma.html 中文翻译,参见博客:https://www.i…

思科交换机各类型中字母的意思?
24TC-L中各字母的意思分别指? 24TT-L中第二个T的意思? 2960和2960G的区别?基中G是什麽意思? F0/1和G0/1区别? 24代表是24个网络接口 第一个T表示TX,也就是所谓RJ-45的类型(指这个24个接口都是RJ-45,若是P的话&#…

医生还未失业,IBM Watson已跌入深渊 | 极客头条
点击上方↑↑↑蓝字关注我们~作者 | Eliza Strickland译者 | Major编辑 | 琥珀出品 | AI 科技大本营(公众号ID:rgznai100)导语:2011 年,Jeopardy! 挑战赛的成功,让外界看到 IBM 的人工智能给医学带来的革命…

【Qt】Qt容器总结
目录 一、容器类1、顺序容器2、关联容器二、Qt容器特点三、迭代器1、Jave样式的迭代器(效率略低)2、SLT样式的迭代器注意: 由于Qt的容器是写时复制的,因此非const访问器从本质上讲更加昂贵, 因为它们必须首先检查是否需要复制基础数据(并在必要时进行复制)。 因此,在Qt…

Java5线程并发库之保障变量的原子性操作
为什么80%的码农都做不了架构师?>>> java.util.concurrent.atomic 首先我们看java.util.concurrent.atomic包,它主要是提供一些为各种数据类型变量提供原子性操作的类。 AtomicInteger 比如我们来看AtomicInteger类,大家在写程序…

EIGRP OSFP 利用NULL0接口防止路由环路 Loopback Null0接口揭秘
在EIGRP中,只要发生总结就会在路由表中自动产生一条指向NULL0的路由条目,这条路由的直接意思是:匹配这条路由的数据包会被路由器丢掉。它的目的是为了避免在某些情况下产生路由环路。 以第三四学期的中文书P86中的图4-15为例做个说明…

【C++】C++11 STL算法(一):非修改序列操作(Non-modifying sequence operations)
目录一、all_of、any_of、none_of:1、官方说明2、谓词3、STL算法对谓词的说明4、谓词的五种模式5、all_of (C 11)6、any_of (C 11)7、none_of(C 11)8、官方demo:二、for_each1、原型…

Python openpyxl 之 Excel 文档简单操作
背景:生活中常常因日常工作,在记录统计方面需频繁处理较多 Excel 表格,这部分工作虽可由人工完成,但这样会显得有些繁琐且可能存在偏差,遂闲时查阅了是否有相关基于python处理Excel表格的学习文档,后获知这…

售价910元!周志华等人英文新书《演化学习》出炉!
点击上方↑↑↑蓝字关注我们~整理 | 琥珀出品 | AI 科技大本营(公众号ID:rgznai100)关于人工智能教育,从学生培养方案,到课程设置、教材,甚至是授课老师,全国各大高校正探索一条新道路。先是从去…

linux 查看 文档 不显示注释 命令
原文:http://www.weiruoyu.cn/?p661 最近发现一个很好的命令,就是linux 查看 文档 不显示注释 的命令[rootlocalhost ha.d]# cat ha.cf |grep -v ^# logfile /var/log/ha-log 转载于:https://blog.51cto.com/weiruoyu/705840

【C++】C++11 STL算法(二):修改序列的操作(Modifying sequence operations)
目录一、copy、copy_if1、原型:2、说明:3、官方demo二、copy_n1、原型:2、说明:3、官方demo三、copy_backward1、原型:1、说明:1、官方demo四、move1、原型:2、说明:3、官方demo五、…

ECharts测量图,功率图
/*** 测量图,功率图1,仪表盘*/ mainpage.prototype.initEcharsGLT1 function(oneJZ){ //if(myChartGLT1 null && myChartGLT1 ! "" && myChartGLT1 ! undefined) {myChartGLT1.dispose(); //每次加载之前清除之前的echar…
北京智源人工智能研究院启动“智源学者计划”,与旷视发布首个智源联合实验室
4月16日,北京智源人工智能研究院与中国人工智能领军企业旷视召开“智源学者计划暨联合实验室发布会”。北京市科委副主任张光连,海淀区委常委、副区长李俊杰,以及来自科技部、北京市科委、海淀区人民政府、朝阳区人民政府、中关村管委会&…

配置隧道模式的IPSec.×××
一、拓扑及IP配置 二、配置清单 R1#show run Building configuration... Current configuration : 1449 bytes ! upgrade fpd auto version 12.4 service timestamps debug datetime msec service timestamps log datetime msec no service password-encryption ! hostname R1 …

【C++】C++11 STL算法(三):分隔操作(Partitioning operations)、排序操作(Sorting operations)
目录分隔操作(Partitioning operations)一、is_partitioned1、原型:2、说明:3、官网demo二、partition1、原型:2、说明:3、官方demo三、partition_copy1、原型:2、说明:3、官方demo四…

浪潮发布重磅产品“元脑”,专注AI全栈能力输出
整理 | 一一出品 | AI科技大本营(ID:rgznai100)4月16日,以“智慧凝聚”为题的IPF2019浪潮云数据中心合作伙伴大会在上海举办。大会重点聚焦浪潮“智慧计算”战略,以AI计算力和创新力,联接、承载、赋能合作伙伴。为了布…

React+Redux+中间件
MVVM是Model-View-ViewModel的缩写。mvvm是一种设计思想。Model 层代表数据模型,也可以在Model中定义数据修改和操作的业务逻辑;View 代表UI 组件,它负责将数据模型转化成UI 展现出来,ViewModel 是一个同步View 和 Model的对象。在…

ピエタ~幸せの青い鳥~相关
先打全所有升级补丁 不然没有end4 补丁下载页 4个end出现方法 只看律视角 选项任意→end1 只看愛视角 选项任意→end2 检查一下 这两个流程的CG是否收全了 开启唯视角以后有些CG是找不回的 只看唯视角 选项任意→end3 只看唯视角 最后一个选项选“唯” 此后只要律或愛的视角开…

【C++】C++11 STL算法(四):二分查找法(Binary search operations)、合并操作
目录一、lower_bound1、原型:2、说明:3、官方demo二、upper_bound1、原型:2、说明:3、官方demo三、binary_search1、原型:2、说明:3、官方demo四、equal_range1、原型:2、说明:3、官…

腾讯开源分布式NoSQL存储系统DCache | 技术头条
作者 | 山宝银,腾讯后台高级工程师,专注于分布式 NoSQL 存储领域的技术研发工作,参与腾讯多个自研存储系统的开发,在分布式系统、高可用与高性能服务等领域有较丰富的经验。来源 | 腾讯技术博客当你在电商平台秒杀商品或者在社交网…
老司机带你学爬虫——Python爬虫技术分享
什么是“爬虫”? 简单来说,写一个从web上获取需要数据并按规定格式存储的程序就叫爬虫; 爬虫理论上步骤很简单,第一步获取html源码,第二步分析html并拿到数据。但实际操作,老麻烦了~ 用Python写“爬虫”有哪…
[转载]分享WCF聊天程序--WCFChat
http://www.cnblogs.com/gaoweipeng/archive/2009/09/04/1560260.html 无意中在一个国外的站点下到了一个利用WCF实现聊天的程序,作者是:Nikola Paljetak。研究了一下,自己做了测试和部分修改,感觉还不错,分享给大家。…

【C++】C++11 STL算法(五):设置操作(Set operations)、堆操作(Heap operations)
目录设置操作(Set operations)一、includes1、原型:2、说明:3、官方demo二、set_difference1、原型:2、说明:3、官方demo三、set_intersection1、原型:2、说明:3、官方demo四、set_symmetric_difference1、…

63万张!旷视发布最大物体检测数据集Objects365 | 技术头条
编辑 | 琥珀来源 | AI科技大本营(id:rgznai100)昨日,在旷视科技联合北京智源人工智能研究院举办的发布会上,旷视研究院发布了物体检测数据集 Objects365,包含 63 万张图像数量,365 个类别数量&a…
(一)Android Studio 安装部署 华丽躲坑
叨叨两句先 小宇之前一直做前后端开发,只是略懂JS,未接触过Java和Android 近期工作任务也是兴趣使然,开始琢磨DJI二次开发 DJI是我最服气的无人机厂商,无人机稳定性极强,性价比狂高,还给了极度丰富的二次开…

linux 环境配置 安装jdk
一. 下载jdk5.0 for linux 到sun的主页 http://java.sun.com/j2se/1.5.0/download.jsp 下载jdk安装文件jdk-1_5_0_05-linux-i586.bin 二. 解压安装jdk 在shell终端下进入jdk-1_5_0_05-linux-i586.bin文件所在目录,执行命令 ./jdk-1_5_0_05-linux-i586.bin 这时会出现…

【C++】C++11 STL算法(六):最小/最大操作(Minimum/maximum operations)、比较运算(Comparison operations)
目录最小/最大操作(Minimum/maximum operations)一、max1、原型:2、说明:3、官方demo二、max_element1、原型:2、说明:3、官方demo三、min1、原型:2、说明:3、官方demo四、min_element1、原型:2…