当前位置：首页 > 编程日记 > 正文

中国的“Databricks”们：打造AI基础架构，我们是认真的

编程日记 2024-11-03 08:40:00

AI落地最大的驱动因素是基础架构的升级。

近年来，大数据分析、AI等领域一直备受关注，常有引人关注的融资事件发生。美国数据科学公司Databricks刚刚在今年8月底完成了16亿美元H轮融资，其最新估值高达380亿美元，相比7个月前G轮融资时280亿美元的估值，又轻松增加了100亿美元。

Databricks“红了”，连带着“深巷里的美酒”——数据科学也得到了更多关注。虽然数据科学是一门复杂的学科，但如今已进入金融、工业乃至千行百业，这一过程其实也是AI从“可用”到“好用”的一个缩影。

“AI落地的关键，是其价值的彰显，以及寻找到适合的商业落地途径。”九章云极DataCanvas董事长方磊指出，“以前，人们认为算法可能是壁垒。但随着技术的快速迭代、开源开放，事实证明算法并非高不可攀，AI落地最大的驱动因素是基础架构的升级。”

AI基础架构升级刻不容缓

当前，中国正处于企业数智化转型的时代拐点。回顾信息化发展的历程可以发现，1980年-2000年，这是基础信息化时代，服务器、存储、操作系统、数据库等基础设施软硬件快速发展；2000年-2020年，进入到流程数字化时代，云计算开始大行其道，云成为基础设施，各类SaaS应用百花齐放；2020年以后，市场迈入新的阶段，其标志是“决策智能化”，相关领域包括数据科学平台、云原生数据仓库、开源技术等迎来爆发的机会。

决策智能化的实现，需要一个“智能化的底座”，也就是常说的AI基础架构。通过AI基础架构的不断完善和升级，AI应用落地的效率会更高，也更容易。“AI基础架构的价值就在于，它能够让企业在其上自主地开发AI应用。”方磊概括道。

AI落地的探索源于算法的创新，之后涌现出的一批AI企业，致力于为客户提供定制化的端到端的AI应用开发。这在无形中造成了AI落地的高门槛。随着各行各业对智能化的需求愈发迫切，AI已经成了众多行业头部客户的刚需。但是这些头部客户不仅业务规模庞大，而且十分复杂，其需求也各不相同。如果仍然沿用过去那种“千人千面”的定制化端到端应用开发模式，很难快速满足这些头部客户的业务需求，而且AI应用的门槛依然高高在上，客户始终掌握不了主动权。

“从各行业头部客户的需求来看，他们更希望围绕自身的业务开发自己的AI应用，这就需要一个自主可控的基础设施。”方磊表示，“依托AI基础架构，由企业自主开发AI应用，锻炼并形成自主的AI能力，这才是市场主流，也是AI应用落地的内驱力。”

Databricks之所以受到市场追捧，正是因为它以最擅长的流数据处理为出发点，向上发展机器学习、建模，向下打造数据湖仓一体，不断扩展和完善AI基础架构，为最上层的AI应用提供一个优化的承载平台，即AI Foundation。

来源：Databricks

实际上，目前内业对于AI基础架构还没有一个统一而明确的定义。但从应用实践，以及像Databricks这样的标杆企业的做法来看，AI基础架构至少包含两大基石，即“数据”与“算法”。

以前，大多数的应用都是离线的，比如获得一份营销名单。但是现在，客户对在线应用的需求越来越迫切，很多时候一个模型已经建好，却发现数据“供不应求”。由此可见，AI应用离不开一个实时的数据底座，AI基础架构的重要性在此时得以凸显。4年前，九章云极DataCanvas就开始打造支持高并发的实时数仓，如今经过品牌升级，一个功能和性能都更加完善的HSAP（Hybrid Serving/Analytical Processing）实时数仓产品DingoDB呈现出来。这就是九章云极DataCanvas眼中，AI应用不可或缺的数据底座。

谈到AI基础架构的门槛，方磊表示：“算法是技术上的门槛，但我们已经实现了突破。我们的自动机器学习产品，在性能等指标上已经不逊于国外同类产品，甚至更强。其实，更高的门槛还是在客户，或者说应用层面。当前，自建AI基础架构的需求主要集中在各行业的头部客户身上。作为AI厂商，必须有意愿和能力服务好这些头部客户。我们公司从2014年就开始专注并深耕这一领域。”

九章云极DataCanvas、Databricks像？不像？

从市场大势来看，正是决策智能化时代的到来，才使得像Snowflake、Databricks这样以数据为驱动，以创新的AI基础架构支撑AI、大数据应用落地的企业成了资本市场的宠儿。

就在Databricks成立的2013年，同样崇尚数据科学的九章云极DataCanvas也在中国顺势而起。尽管地处不同，但两者却有不少相似之处，尤其在能力建设和商业模式愿景上，九章云极DataCanvas和Databricks更颇有几分默契，这是巧合？还是殊途同归？

首先，两家公司的定位相似，都是数据科学的研发者、应用者和推动者，并且都在主攻AI基础架构升级的方向。但是由于出发点不同、所擅长的细分技术领域不同，Databricks最早以流数据处理成名，而九章云极DataCanvas则以开源自动机器学习见长，因此在具体构建AI基础架构时，两者选择的路径有所差异。

其次，从产品线来看，虽然在细节上略有差异，但从整体能力建设上看，两家公司的产品可以说是如出一辙，都涵盖了分析和数据两大部分。在分析部分，九章云极DataCanvas享有业内颇受好评的开源架构机器学习平台DataCanvas APS，该平台囊括了算子仓库、模型训练、数据处理、自动机器学习等，再配合数据层面的DingoDB实时数仓，构建出数据实时计算分析闭环。而Databricks除了众所周知的Spark以外，还有同样知名的数据湖仓一体Delta Lake，以及机器学习、数据测试与管理、数据解释和建模产品等。两家公司通过持续不断的创新，致力于让AI基础架构变得更加“厚实而饱满”，可谓异曲同工。

来源：九章云极DataCanvas

“在数据科学这一领域，我们与Databricks拥有相似的愿景、目标和战略，想做同样的事，即打造AI基础架构，将算力和网络充分利用起来。”方磊表示，“对于有人将我们称作‘中国的Databricks’，我们感到非常荣幸。这是对我们的一种认可。但我们也清醒地认识到，AI基础架构市场空间巨大，还有很多‘细致的活儿’要做。这也是我们继续快速前进的动力。”

把AI嵌入到云里去

任何一个想有一番作为的企业，肯定都不会满足于“成为别人”，九章云极DataCanvas也是如此，成为“中国的Databricks”不是终点，“做自己”成为一个独特的存在才是最终目标。

实际上，因为中美两国大到市场和竞争环境，小到企业的AI应用需求，都存在差异。在两块不同的土地上长出的苗，可能属于同一种类，但在个体上会有显著的差别。试举一例，在美国市场，一直是AWS、Azure、Google Cloud“三朵云”打天下。无论是Snowflake还是Databricks，都生长在这“三朵云”之上。但在中国，云计算市场大相径庭，云的碎片化现象显而易见，不同的区域、不同的行业可能造就了上千朵云。虽然从AI应用落地的角度，中美客户的需求没有差别，但是在具体的路径选择和落地方式上，还是有各自的倾向和习惯。

方磊坦言，九章云极DataCanvas现阶段将主要围绕各行业的头部客户群体，为其打造AI基础架构。因为这部分客户的需求最迫切，并且有资金也有技术能力实现AI的自主开发。基于对中国未来AI行业生态发展的预判，九章云极DataCanvas建设性地提出了“云中云”战略（An AI Cloud in the Clouds），即将AI基础架构及相关AI能力，嵌入到形形色色的行业云、区域云、企业云、联盟云等千朵云中。为了满足不同云生态的需求，九章云极DataCanvas必须让自己的解决方案实现更加灵活、高效的交付。而“云中云”显然是事半功倍的做法，可以很好地借力打力，将九章云极DataCanvas的AI能力随云输出。

来源：九章云极DataCanvas

对于AI基础架构，很多行业用户一开始的认知是模糊的，仍需要持续的教育。但是某些先行先试的行业头部企业，已经从AI基础架构的升级中尝到了甜头。比如在银行业，原来需要几天才能完成审批的贷款，现在可以实时审批；在制造业，工业质量检测能力的提升、设备预测性维护的实现等都得益于AI的应用……诸如此类的案例应用不胜枚举。

“在构建AI基础架构的基础之上，有数据、有场景、有预算、有团队，用户就可以开发自己的AI应用了。”方磊表示，“原来，用户习惯‘伸手’向厂商要‘交钥匙’的AI解决方案。但这种单独定制的解决方案并非长久之计。”例如某大型钢铁企业在全球拥有300多条产线，每条产线用到的设备、供应商各不相同。如果没有一个统一的平台支撑其建模、分析、应用开发和管理，那么系统将不堪重负。说到底，用户还是要依靠自身AI能力的提高，运用通用的技术，自主掌握AI应用开发。在这种情况下，AI基础架构就是必须的。这也是九章云极DataCanvas的商业机会。

珠玉在前事半功倍

打造千朵云生态的AI基础架构，是九章云极DataCanvas的商业定位；而打造中国开源数据科学第一平台，则是九章云极DataCanvas的初心。两者并不矛盾。正相反，数据科学与AI基础架构从学科和商业应用两个不同的维度，在九章云极DataCanvas身上实现了平衡与统一。

在很长时间里，数据科学曲高和寡。在中国，像九章云极DataCanvas这样长期坚持深耕数据科学领域的厂商凤毛麟角。Databricks可以说是全球范围内数据科学领域最先跑出的企业。它居高不下的热度至少证明了，数据科学这个市场大有可为。

新基建、云原生、数智化升级、开源，在这些利好因素下，再加上有Databricks这样的珠玉在前，以及九章云极DataCanvas等公司多年来的精耕细作，数据科学的未来值得期待。

https://www.dkcj.cn/info/25861.html

中国的“Databricks”们：打造AI基础架构，我们是认真的

相关文章：

更改git bash默认的路径

Gradle入门系列（4）：创建二进制发布版本

什么是A记录、MX记录、CNAME记录

Graph + AI 2021中国峰会：TigerGraph与行业共探图与AI应用前景

rrdtool数据备份与迁移

Format specifies type 'id' but the argument has type 'NSError __autoreleasing

域名解析和cdn 原理

首批 iPhone 13 用户直呼太“坑”：拍照有马赛克、不能用高刷、还与 Apple Watch “失联”？...

《javascript语言精粹》读书笔记（一）

WPF 与Surface 2.0 SDK 亲密接触–LibraryContainer 篇

Transformer 代码完全解读！

php后台开发（二）Laravel框架

Redis的介绍

从源代码编译里程碑的 ICS ROM

Varnish purges 缓存清除

如何快速搭建智能人脸识别系统

全局唯一ID生成方案

大型互联网 b2b b2c o2o 电子商务云平台

Linux下redis安装部署

阿里无人车配送快递突破 100 万单，小蛮驴牵引的自动驾驶战略布局

[Python] 中文路径和中文文本文件乱码问题

kubernetes Helm

造车新势力“围猎”秋招，应届生如何拿下高薪 offer ？

云评测、云监测、云加速，性能魔方mmTrix全球速度最快

水平切分与垂直切分

iOS 设计模式浅析 1 - 策略

何崚谈阿里巴巴前端性能优化最佳实践

java基础_04

会唱歌、会弹琴，清华大学 AI 学生华智冰火了

22. Node.Js Buffer类（缓冲区）-（二）