当前位置: 首页 > 编程日记 > 正文

一张“黑洞”需要拍两年?有了它或许就不会让大家等那么久了

640?wx_fmt=jpeg

只闻其名,不见其形,从小听到大的”黑洞“,终于让我们在有生之年见到了它的真容,只能说幽暗的宇宙美丽也调皮,长久以来人类关于黑洞的探索,在这一刻终于得到影像印证。相信很多人心中都有一个疑惑,为黑洞拍张照片需要两年时间?究其原因一个字“难”!难在哪?“数据”! 

首先,望远镜观测到的数据量非常庞大,2017年时8个望远镜的数据量达到了10PB,2018年又增加了格陵兰岛望远镜,庞大的数据量让数据处理的难度不断加大,且在数据处理的过程当中还伴随着不少技术难题。 

这张“冲洗”出的照片,蕴含着复杂的后期数据处理分析,而这一过程中涉及的数据量之多,处理难度之大都是前所未有的。那有没有办法,尽快揭开宇宙神秘的面纱?有没有办法,在面对庞大数据量的时候,我们有更高效快捷的方式去处理它们呢?


强势应对海量数据 内存分析放大招


就拿一张小小的黑洞照片来说,它背后的数据量需要一万块 500GB 硬盘才能装满,而这一万块硬盘高达半吨之重,这么”重“的数据,分析起来已经够难,还想要快速分析那更是难上加难!庞大的数据量不应该成为人类进步的绊脚石,恰恰相反,将其中蕴含的价值挖掘出来,我们将拥有无限宝贵资源。 

根据IDC预测,到2025年,全球数据量将从2018年的33ZB增加到175ZB,随着接入大容量数据能力的提高,从这些数据中提取价值的需求势必也在提升。而这也意味着我们了更广泛的工具选择,其中内存分析就是一个绝好的工具,那么它在处理海量数据时到底有多靠谱? 

首先,顾名思义,内存分析就是将数据在存储层向上移动,使其更接近CPU,以便加快内存访问速度以更快地进行分析,并缩短获取洞察的时间。所以,倘若那半吨重的数据,运用内存分析或许我们就不会等那么久了。 

内存分析的优势可不少,其中包括降低IT成本、简化基础设施、延长运行时间、降低时延、优化数据同步、减少数据副本以及缩短开发周期。此外,更快速地提供大量更深入的实时洞察,从而帮助创造新的机会,以推动和增强服务交付。


光说不练假把式 应用案例来一遍


内存分析如此强大,在助力临床医疗、零售业、金融服务业、智能运营供应链、呼叫中心和客户流失方面都已全面落地,并表现出色。下面我们就来看看运用内存分析解决行业痛点的两个真实案例,一睹其风采。 

全球领先的专业化学品公司Evonik,致力于实现总体拥有成本(TCO)效率的进一步提升,经过精挑细选,最后采用了内存分析方法解决了实际工作中遇到的难题。现在Evonik可以灵活并更高效地将数据集集成到其SAPHANA*平台中,并做好存储大容量数据集的准备。除此之外,一家提供全国广告产品的ZypMedia公司,借助内存分析确保了每秒处理大约500,000个事务请求,响应时间低至半毫秒,凭借速度和灵活性提供这种高质量服务。


深入了解内存分析 传统架构已力不从心


内存分析已经在如此多的场景顺利落地,并帮助企业巧妙化解行业难题,相信好奇的宝宝们心中已经有了一个疑问,如此强大的内存分析,需求一定少不了,这对于IT负责人来说挑战可不小,因为他们需要从更大的数据集中提取更多价值。此时,不得不考虑他们所采用的架构能否支持内存运营,以及如何满足目前和将来的需求。 

由于架构方面的需求基本取决于组织的能力和经验,而传统的架构可能会使用运营数据库来存储和管理当前数据,在将这些数据发送到组织数据仓库进行分析前,需要先对其进行批处理。然而,在许多企业中,这一模式正在逐渐被单一混合事务和分析处理架构取代,如此一来,便可以为一些受益于内存分析的关键平台和应用提供支持。而如果考虑采用HTAP,则需要考虑哪种形式更适合当前业务。然而,内涵式HTAP则更进了一步,其将分析功能嵌入事务本身以影响其结果。 

不难发现,更高的工作需求,要求我们必须采用支持实时数据处理和分析的IT基础设施。那么,到底有没有一种架构可以完美支持所需内存运行,并能够满足目前和将来的需求呢?答案来了,上面提到的化学公司正是借助了英特尔®傲腾TM数据中心级持久内存,改善了实际性能和总体拥有成本;而广告产品公司则借助英特尔®至强®可扩展处理器,实现了动态广告投放。 

640?wx_fmt=png

而这一切都要归功于英特尔®至强®平台构建内存分析堆栈,让采集和处理大容量数据能力大大提升,已达到帮助行业实时甚至提前识别趋势与洞察并做出响应。由此可见,存储和内存方面的创新型产品,确实将困扰我们的数据难题快速解决消化,不信你接着看,适用于数据中心的英特尔®傲腾TM固态盘,其采用非易失性内存技术,可提供类似DRAM的性能并具有固态盘存储的持久性。为了推进这一变革,英特尔®傲腾TM数据中心级持久内存,配备全新一代的英特尔®至强®可扩展处理器,将此优势与CPU内存总线直接结合。这样一来,可更好地兼顾高容量、经济性和持久性。


极简内存分析 助力数据资源价值最大化


数据处理能力永远赶不上生成数据的速度,因此,必须将数据战略的重点放在充分发挥数据资源的价值上,那么如何将好钢用在刀刃上呢?为简化内存分析,英特尔不仅设计并优化了一系列数据中心技术,用以加快数据驱动型洞察,还在存储架构上做了不小的文章,使得内存容量超出DRAM限制,更好地兼顾性能和成本。如此一来,就可以提供内存分析工作负载通常所需的快速可扩展性和灵活性。除了持续致力于硬件创新外,它们开发了通过基准测试且完全集成的软件和硬件堆栈,支持特定工作负载,缩短服务交付时间和上市时间。 

内存数据库已不单单是面向特殊分析工作负载的一种昂贵方案,而是在向着实现更广泛的目标转变。从人类生活到行业应用,甚至到宇宙探索,人类数据正以指数级增长,面对海量数据,如何充分发挥数据资源价值,基于英特尔®至强®平台构建的内存分析堆栈给了我们最好的答案。当然我们也相信,未来英特尔将会有更多的创新与探索,为企业数据带来革新的同时,创造无限可能性。

640?wx_fmt=png

相关文章:

如何在一场面试中展现你对Python的coding能力?| 技术头条

点击上方↑↑↑蓝字关注我们~作者 | wLsq 来源 | Python数据科学(ID:PyDataScience)如果你已经通过了招聘人员的电话面试,那么下面正是该展现你代码能力的时候了。无论是练习,作业,还是现场白板面试,这都是…

Django web : CSRF verification failed. Request aborted.

错误标题:CSRF verification failed. Request aborted. 错误描述: HelpReason given for failure:CSRF cookie not set.In general, this can occur when there is a genuine Cross Site Request Forgery, or when Djangos CSRF mechanism has not been …

分享一个PC端六格密码输入框写法

如图。我们一般做商城类的项目不免会用到支付密码输入框&#xff0c;我研究了下并决定发上来&#xff0c;也当作是自己成长路上的一点小小的记录。本次介绍的是基于vue的项目 html&#xff1a; <template><div classam_payPwd :id"ids_${id}"><input …

【数据库】sqlite中PRAGMA命令说明

关于sqlite中PRAGMA的说明网上已经有很多了&#xff0c;这里不再复制粘贴&#xff0c;只把内容最全的网址连接记录一下&#xff1a; 官网说明&#xff08;英文&#xff09;&#xff1a;https://sqlite.org/pragma.html 中文翻译&#xff0c;参见博客&#xff1a;https://www.i…

思科交换机各类型中字母的意思?

24TC-L中各字母的意思分别指? 24TT-L中第二个T的意思? 2960和2960G的区别&#xff1f;基中G是什麽意思? F0/1和G0/1区别&#xff1f; 24代表是24个网络接口 第一个T表示TX&#xff0c;也就是所谓RJ-45的类型&#xff08;指这个24个接口都是RJ-45&#xff0c;若是P的话&#…

医生还未失业,IBM Watson已跌入深渊 | 极客头条

点击上方↑↑↑蓝字关注我们~作者 | Eliza Strickland译者 | Major编辑 | 琥珀出品 | AI 科技大本营&#xff08;公众号ID&#xff1a;rgznai100&#xff09;导语&#xff1a;2011 年&#xff0c;Jeopardy! 挑战赛的成功&#xff0c;让外界看到 IBM 的人工智能给医学带来的革命…

【Qt】Qt容器总结

目录 一、容器类1、顺序容器2、关联容器二、Qt容器特点三、迭代器1、Jave样式的迭代器(效率略低)2、SLT样式的迭代器注意: 由于Qt的容器是写时复制的,因此非const访问器从本质上讲更加昂贵, 因为它们必须首先检查是否需要复制基础数据(并在必要时进行复制)。 因此,在Qt…

Java5线程并发库之保障变量的原子性操作

为什么80%的码农都做不了架构师&#xff1f;>>> java.util.concurrent.atomic 首先我们看java.util.concurrent.atomic包&#xff0c;它主要是提供一些为各种数据类型变量提供原子性操作的类。 AtomicInteger 比如我们来看AtomicInteger类&#xff0c;大家在写程序…

EIGRP OSFP 利用NULL0接口防止路由环路 Loopback Null0接口揭秘

在EIGRP中&#xff0c;只要发生总结就会在路由表中自动产生一条指向NULL0的路由条目&#xff0c;这条路由的直接意思是&#xff1a;匹配这条路由的数据包会被路由器丢掉。它的目的是为了避免在某些情况下产生路由环路。 以第三四学期的中文书P86中的图4-15为例做个说明&#xf…

【C++】C++11 STL算法(一):非修改序列操作(Non-modifying sequence operations)

目录一、all_of、any_of、none_of&#xff1a;1、官方说明2、谓词3、STL算法对谓词的说明4、谓词的五种模式5、all_of &#xff08;C 11&#xff09;6、any_of &#xff08;C 11&#xff09;7、none_of&#xff08;C 11&#xff09;8、官方demo&#xff1a;二、for_each1、原型…

Python openpyxl 之 Excel 文档简单操作

背景&#xff1a;生活中常常因日常工作&#xff0c;在记录统计方面需频繁处理较多 Excel 表格&#xff0c;这部分工作虽可由人工完成&#xff0c;但这样会显得有些繁琐且可能存在偏差&#xff0c;遂闲时查阅了是否有相关基于python处理Excel表格的学习文档&#xff0c;后获知这…

售价910元!周志华等人英文新书《演化学习》出炉!

点击上方↑↑↑蓝字关注我们~整理 | 琥珀出品 | AI 科技大本营&#xff08;公众号ID&#xff1a;rgznai100&#xff09;关于人工智能教育&#xff0c;从学生培养方案&#xff0c;到课程设置、教材&#xff0c;甚至是授课老师&#xff0c;全国各大高校正探索一条新道路。先是从去…

linux 查看 文档 不显示注释 命令

原文&#xff1a;http://www.weiruoyu.cn/?p661 最近发现一个很好的命令&#xff0c;就是linux 查看 文档 不显示注释 的命令[rootlocalhost ha.d]# cat ha.cf |grep -v ^# logfile /var/log/ha-log 转载于:https://blog.51cto.com/weiruoyu/705840

【C++】C++11 STL算法(二):修改序列的操作(Modifying sequence operations)

目录一、copy、copy_if1、原型&#xff1a;2、说明&#xff1a;3、官方demo二、copy_n1、原型&#xff1a;2、说明&#xff1a;3、官方demo三、copy_backward1、原型&#xff1a;1、说明&#xff1a;1、官方demo四、move1、原型&#xff1a;2、说明&#xff1a;3、官方demo五、…

ECharts测量图,功率图

/*** 测量图&#xff0c;功率图1&#xff0c;仪表盘*/ mainpage.prototype.initEcharsGLT1 function(oneJZ){ //if(myChartGLT1 null && myChartGLT1 ! "" && myChartGLT1 ! undefined) {myChartGLT1.dispose(); //每次加载之前清除之前的echar…

北京智源人工智能研究院启动“智源学者计划”,与旷视发布首个智源联合实验室

4月16日&#xff0c;北京智源人工智能研究院与中国人工智能领军企业旷视召开“智源学者计划暨联合实验室发布会”。北京市科委副主任张光连&#xff0c;海淀区委常委、副区长李俊杰&#xff0c;以及来自科技部、北京市科委、海淀区人民政府、朝阳区人民政府、中关村管委会&…

配置隧道模式的IPSec.×××

一、拓扑及IP配置 二、配置清单 R1#show run Building configuration... Current configuration : 1449 bytes ! upgrade fpd auto version 12.4 service timestamps debug datetime msec service timestamps log datetime msec no service password-encryption ! hostname R1 …

【C++】C++11 STL算法(三):分隔操作(Partitioning operations)、排序操作(Sorting operations)

目录分隔操作&#xff08;Partitioning operations&#xff09;一、is_partitioned1、原型&#xff1a;2、说明&#xff1a;3、官网demo二、partition1、原型&#xff1a;2、说明&#xff1a;3、官方demo三、partition_copy1、原型&#xff1a;2、说明&#xff1a;3、官方demo四…

浪潮发布重磅产品“元脑”,专注AI全栈能力输出

整理 | 一一出品 | AI科技大本营&#xff08;ID:rgznai100&#xff09;4月16日&#xff0c;以“智慧凝聚”为题的IPF2019浪潮云数据中心合作伙伴大会在上海举办。大会重点聚焦浪潮“智慧计算”战略&#xff0c;以AI计算力和创新力&#xff0c;联接、承载、赋能合作伙伴。为了布…

React+Redux+中间件

MVVM是Model-View-ViewModel的缩写。mvvm是一种设计思想。Model 层代表数据模型&#xff0c;也可以在Model中定义数据修改和操作的业务逻辑&#xff1b;View 代表UI 组件&#xff0c;它负责将数据模型转化成UI 展现出来&#xff0c;ViewModel 是一个同步View 和 Model的对象。在…

ピエタ~幸せの青い鳥~相关

先打全所有升级补丁 不然没有end4 补丁下载页 4个end出现方法 只看律视角 选项任意→end1 只看愛视角 选项任意→end2 检查一下 这两个流程的CG是否收全了 开启唯视角以后有些CG是找不回的 只看唯视角 选项任意→end3 只看唯视角 最后一个选项选“唯” 此后只要律或愛的视角开…

【C++】C++11 STL算法(四):二分查找法(Binary search operations)、合并操作

目录一、lower_bound1、原型&#xff1a;2、说明&#xff1a;3、官方demo二、upper_bound1、原型&#xff1a;2、说明&#xff1a;3、官方demo三、binary_search1、原型&#xff1a;2、说明&#xff1a;3、官方demo四、equal_range1、原型&#xff1a;2、说明&#xff1a;3、官…

腾讯开源分布式NoSQL存储系统DCache | 技术头条

作者 | 山宝银&#xff0c;腾讯后台高级工程师&#xff0c;专注于分布式 NoSQL 存储领域的技术研发工作&#xff0c;参与腾讯多个自研存储系统的开发&#xff0c;在分布式系统、高可用与高性能服务等领域有较丰富的经验。来源 | 腾讯技术博客当你在电商平台秒杀商品或者在社交网…

老司机带你学爬虫——Python爬虫技术分享

什么是“爬虫”&#xff1f; 简单来说&#xff0c;写一个从web上获取需要数据并按规定格式存储的程序就叫爬虫&#xff1b; 爬虫理论上步骤很简单&#xff0c;第一步获取html源码&#xff0c;第二步分析html并拿到数据。但实际操作&#xff0c;老麻烦了~ 用Python写“爬虫”有哪…

[转载]分享WCF聊天程序--WCFChat

http://www.cnblogs.com/gaoweipeng/archive/2009/09/04/1560260.html 无意中在一个国外的站点下到了一个利用WCF实现聊天的程序&#xff0c;作者是&#xff1a;Nikola Paljetak。研究了一下&#xff0c;自己做了测试和部分修改&#xff0c;感觉还不错&#xff0c;分享给大家。…

【C++】C++11 STL算法(五):设置操作(Set operations)、堆操作(Heap operations)

目录设置操作(Set operations)一、includes1、原型&#xff1a;2、说明&#xff1a;3、官方demo二、set_difference1、原型&#xff1a;2、说明&#xff1a;3、官方demo三、set_intersection1、原型&#xff1a;2、说明&#xff1a;3、官方demo四、set_symmetric_difference1、…

63万张!旷视发布最大物体检测数据集Objects365 | 技术头条

编辑 | 琥珀来源 | AI科技大本营&#xff08;id&#xff1a;rgznai100&#xff09;昨日&#xff0c;在旷视科技联合北京智源人工智能研究院举办的发布会上&#xff0c;旷视研究院发布了物体检测数据集 Objects365&#xff0c;包含 63 万张图像数量&#xff0c;365 个类别数量&a…

(一)Android Studio 安装部署 华丽躲坑

叨叨两句先 小宇之前一直做前后端开发&#xff0c;只是略懂JS&#xff0c;未接触过Java和Android 近期工作任务也是兴趣使然&#xff0c;开始琢磨DJI二次开发 DJI是我最服气的无人机厂商&#xff0c;无人机稳定性极强&#xff0c;性价比狂高&#xff0c;还给了极度丰富的二次开…

linux 环境配置 安装jdk

一. 下载jdk5.0 for linux 到sun的主页 http://java.sun.com/j2se/1.5.0/download.jsp 下载jdk安装文件jdk-1_5_0_05-linux-i586.bin 二. 解压安装jdk 在shell终端下进入jdk-1_5_0_05-linux-i586.bin文件所在目录&#xff0c;执行命令 ./jdk-1_5_0_05-linux-i586.bin 这时会出现…

【C++】C++11 STL算法(六):最小/最大操作(Minimum/maximum operations)、比较运算(Comparison operations)

目录最小/最大操作(Minimum/maximum operations)一、max1、原型&#xff1a;2、说明&#xff1a;3、官方demo二、max_element1、原型&#xff1a;2、说明&#xff1a;3、官方demo三、min1、原型&#xff1a;2、说明&#xff1a;3、官方demo四、min_element1、原型&#xff1a;2…