当前位置：首页 > 编程日记 > 正文

知识图谱，下一代数据中台的核心技术

编程日记 2024-12-11 04:00:00

作者 | 杨威，明略科技技术中心负责人

编辑 | 夕颜

出品 | AI科技大本营（ID:rgznai100）

本文为CSDN即将推出的《新战场：决胜中台》专刊的第 3 篇文章。

【导读】数据中台火的十分突然，似乎年前还在炒概念，年后突然就冒出来各种中台的实践。当然其中有跟风的因素，但根本原因在于，“数据”的价值正在越来越受到企业的重视，数据正在成为企业最核心以及最重要的生产资料，成为决定企业业务转型的关键因素。企业需要一个源源不断的输出数据服务，数据洞察的能力源泉，数据中台的出现就成了顺理成章的事情。

提到数据中台，就先要了解什么是中台，对于中台的建设，大都是跟随阿里中台的方法论（来源于其 2015 年提出的「⼤中台，⼩前台」战略）。中台的作用在于打通固有多业务系统之间的数据壁垒，融合各个不同业务系统间所产生的数据，通过数字化的运营和驱动来支撑前端业务的快速变化，从而产生更大的价值。而新一代数据中台，在融合数据的基础上，更要关注是否能够积累和沉淀行业Know-How，将数据智能和组织智能融合，形成行业智能，更敏捷更快速的响应前端业务的变化，更好的协作创新。

中台虽火，但并不是所有企业的标配。这需要看企业的发展阶段，有些企业可能处于比较早期的阶段，未必需要很强大的中台支持，可能像大型企业的一个独立的BU方式就可以快速发展了。

在明略科技的实践中，我们总结来看大型企业才是中台的主要用户人群。这类企业本身一般来说规模和体量相对比较大，业务相对比较复杂，以前IT系统建设也比较多，目前开始从原有传统行业转到在线业务行业，甚至做线上下结合的场景，这就到了数字化转型的时机，因此中台部门会起到比较大的作用，会打通原有很多业务系统的壁垒，融合各个不同业务系统产生的数据，通过数字化的运营和驱动促使业务敏捷迭代，从而发挥更大的价值。

只是为了规避烟囱化问题的中台不是好中台

中台落地的根本促因之一是规避企业系统的烟囱化问题。有了中台之后，企业第一步做的是把系统拉平，建立中台平台型的组织来支撑企业内数个系统里共性的技术或是数据或是业务，比如数据中台，就是把数据全部汇聚到这个平台组织上。企业中组织的方式，一般是按照面向业务过程的数据组织方式，从存储角度来看，数据就是一张张独立的表结构，如常用的会员表，订单表等，但表与表之间无法在数据层面直接连接打通，而是需要通过外在的辅助工具，例如字典表、元数据系统等，才能进行数据梳理与逻辑分析。所以这种形式只实现了数据存储上的物理集中，而不是真正的数据层面的逻辑集中。这种数据组织形式，更多适用于统计分析等较为简单的计算场景。这样建设的中台只是起到了整合及存储作用，自身并不智能。

具有行业Know-How的数据中台才能被持续使用

针对上述场景中，在明略科技为客户构建中台过程中，我们会把所有的隐性语义全部显性放在图谱里面表示，一个人和哪些商品有购买关系，和哪些商品有浏览关系，原来在数据字典里面定义的隐性的关系全部都有显性语义化放在图谱面呈现出来，所有的数据都被连通和打通。这就使得数据中台不仅仅是一个技术平台，而是有了一个持续运营的业务体系视角，且持续使用会呈现智能化的。

明略科技为企业建设的是新一代的以知识图谱为行业Know-How的载体，沉淀行业业务规则与算法模型，同时提供实时反馈系统，这是一个企业智能化建设过程，并且只有智能化才能增加中台的实用性和使用率。

基于明略数据中台的定位，在设计构建时，我们把数据协作的高度看到了企业组织运营层面，我们希望使用中台的人通过数据进行协作。

中台毕竟是一个巨大的系统和体系，需要不同的人进行相互之间的协作。这个协作，包含有几个含义：提升每一个人对于数据的信任度。通过监控每一个数据的生命全周期，生产-处理-消费的全过程，以及过程中所相关的人和这个人做的操作，将这些操作和代码统一管理起来，全流程可视化，每一个人都可以详细看到每一个的进程，可以大大提升开发者对于系统和数据的信任度。

同时这一过程是可以被沉淀的。以前大家使用数据的方式，经常提走一份数据，在我自己的电脑上做分析之后出来一个结果产生一个报告，就拿走了。但其实中间分析过程、计算过程和报告的洞察insight是没有积累下来，没有办法很快被分享。在我们的中台上，我们希望整个的计算过程和所有的计算结果是可以被写回到后面的中台和图谱里面去，所以这些洞察insight和过程都会保留下来，可以被其他的人分享、复用，是数据协作的理念。

打造真正为“业务而生”Data API 才能实现人机协同

DataAPI是数据中台的核心，是能让数据中台真正发挥价值的关键，是未来企业实现人机协同的关键，在明略科技看来，将知识图谱引入到数据中台体系内重要原因之一就是可以让DataAPI真正为了“业务而生”。

当我们将知识图谱引入到数据中台后，实现了面向业务领域的数据组织方式。明略科技通过知识图谱技术，将知识图谱融入在中台数据模型这一层，用包含概念、实体、关系、事件、标签、指标的知识图谱统一视图来定义面向领域的数据模型，并将所有隐性的语义，全部以显性的形式放到知识图谱里进行呈现，将领域知识图谱作为数据中台的数据底座，从而实现面向业务领域数据组织方式的转变。基于图挖、机器学习技术来实现隐性关联关系挖掘，并以此来满足图谱节点相似度测算、节点重要性测算、关系图中的频繁模式子图、多节点子图挖掘、社区发现、两两关联、聚类等业务需求，这些复杂计算和挖掘场景，是传统数仓模式无法支持的。

明略科技领域知识图谱落地流程图

明略科技：基于Daas+SaaS层的中台建设定位

在整个生态里面，明略科技的中台属于DaaS+SaaS层的建设，一方面我们结合平台型厂商，比如像腾讯、华为这一层为主，同时我们数据中台是国内适配云能力最强的一个中台，几乎所有的云我们都适配过，无论是共有云还有私有云等等，这是往下生态的一个能力。同时，我们整个中台是非常开放，基于知识图谱分析，通过Data API将明略科技的数据汇聚能力、数据治理能力、数据知识图谱构建和知识图谱存储的能力与其他ISV合作。

在为各行业客户构建了数据中台后，明略科技基于机器学习和深度学习技术，将行业知识进行沉淀成算法模型，迭代成智能化应用供客户使用。明略科技发布的面向高端设备运维推出的“智能运维”解决方案，面向数据采集场景推出的“泛在感知”解决方案，以及面向零售行业推出的“明略智慧零售全渠道业务+数据中台”解决方案，都是基于这种思路。

数据中台未来：知识图谱是下一代数据中台最核心的技术

下一代数据中台最核心的技术是知识图谱，因为它可以实现探索式的分析。数据的结构有链表、二位表、栈、队列、堆、数，最复杂的其实就是图，因为在海量信息中，图连接了任意两个点之间的关系。Excel 表只有横竖，所有的数据分析只能按行或者按列。而知识图谱可以给数据库带来的革命，是任何两个数据节点之间都可以建立关系，当把这个关系建立好以后就有机会按照这个维度来进行分析、关联、探索，这就像人的大脑一样。

人的大脑里没有“行”和“列”，只有“图”。所以当你用大脑计算逻辑思考这个世界时会发现，你可以探索发现很多东西，这就是为什么人类可以做创造，而如今机器人都很难做到创造的原因，因为人类可以探索、发现，找到一些你从来没有想到的东西，通过“图”的数据结构不停延展。未来后台的数据中台，可以把“头脑风暴”得到的想法连成知识图谱。上一代数据中台不做知识图谱，原因很简单，因为太贵了，原来把任何两个数据连上，数据量就已经很大，计算成本高昂。但是，幸运的是未来人类的计算机存储的成本会越来越低，存储量越来越大、计算速度越来越快。

未来一定是不断地消耗计算机的时间和空间来节省人类的时间，所以知识图谱最终一定会替代上一代数据平台的存储。未来，所有的数据并不是以矩阵结构、立方体的结构来存储，而是图状结构。人平时思考多，用的时候就可以更快，这就是知识图谱本质的原理。每一个行业的每一个数据中台，将来都应该这样做存储。

此外，企业打造了数据中台，也一定要有业务中台，否则数据中台就是个“空架子”，没有可以服务的对象。从数据中台到业务中台，无论是架构、技术接口还是逻辑，都能够通过行业知识图谱这样统一的数据和业务语言进行无缝链接，实现对上层业务更加强有力的支撑。

2019年是数据中台元年，接下来，明略科技的新一代数据中台建设将贯穿更多业务场景，让数据服务于业务决策，实现数据到智慧的转换，挖掘智能时代的新机会，最终实现人机同行的美好未来。

（*本文为AI科技大本营约稿文章，转载请微信联系1092722531）

◆

精彩推荐

◆

推荐阅读

你点的每个“在看”，我都认真当成了AI

11年艺术学习“转投”数学，他出版首本TensorFlow中文教材，成为蚂蚁金服技术大军一员
清华官宣：前百度总裁张亚勤正式加盟清华大学
小米回应“米家”商标争议；人人 App 回归社交市场；TiDB 2.1.19 发布| 极客头条
迁移学习前沿研究亟需新鲜血液，深度学习理论不能掉链子
详解GPU技术关键参数和应用场景
链版“微信”，27 岁身价达 2.5 亿美元
“微软让我损失了两亿美金！”
太逆天！程序员当总统、拿下《国家地理》全球总冠军、成著名歌手！
区块链重塑人类社群生态

https://www.dkcj.cn/info/31306.html

11年艺术学习“转投”数学，他出版首本TensorFlow中文教材，成为蚂蚁金服技术大军一员

清华官宣：前百度总裁张亚勤正式加盟清华大学

小米回应“米家”商标争议；人人 App 回归社交市场；TiDB 2.1.19 发布| 极客头条

迁移学习前沿研究亟需新鲜血液，深度学习理论不能掉链子

详解GPU技术关键参数和应用场景

链版“微信”，27 岁身价达 2.5 亿美元

“微软让我损失了两亿美金！”

太逆天！程序员当总统、拿下《国家地理》全球总冠军、成著名歌手！

区块链重塑人类社群生态

相关文章：