当前位置：首页 > 编程日记 > 正文

阿里飞天大数据飞天AI平台“双生”系统正式发布，9大全新数据产品集中亮相

编程日记 2024-12-22 08:00:00

作者 | 夕颜

责编 | 唐小引

出品 | AI科技大本营（ID:rgznai100）

如今，大数据和 AI 已经成为两个分不开的词汇，没有大数据，AI 就失去了根基；没有 AI，数据不会呈现爆发式的增长。如何将 AI 与大数据有机结合，成为很多企业的目标和方向。

阿里巴巴也在进行着这样的尝试。幸运的是，现在，他们已经实现了这个目标。

9 月 26 日，在杭州云栖小镇举行的云栖大会大数据&AI 峰会上，阿里云智能计算平台事业部资深产品专家李京梅正式发布向公众发布了飞天大数据平台和飞天 AI 平台。

飞天大数据与飞天AI平台“双生”系统

李京梅把这两者比喻为一对孪生兄弟，同出同进，相互使能，形成密不可分的有机结合关系。在大数据与AI形成的双生系统中，大数据平台为 AI 提供数据和算力，AI 反过来优化大数据系统，让大数据可以“自动驾驶”，做到智能优化，AI 加持的大数据计算能力大大提升。

作为飞天 AI 平台的核心，机器学习平台 PAI 在这张图中处于中间的位置。李京梅说道，人工智能发展有三要素，包括数据、算法和算力，同样的算法，放到十年前，由于没有大数据上的天时地利，这些算法可能不会产生和今天同等的价值。所以，大数据平台和AI 平台之间互相使能在于大数据为机器学习的平台创造了海量的数据，让 AI 产生更多能力，而当 AI 落地后，行业系统和业务系统又产生更多、更丰富的数据，产生一个数据生产的闭环，大数据和 AI 并行，会创造更多的价值。

她介绍道，阿里巴巴飞天大数据平台具备数据综合治理、数据构建、数据交换等能力，赋能机器学习 PAI 平台，完成统一的调度和编排。它还可以对接各种大数据计算引擎，进行统计交互式分析和云计算技术业务。

在此之前，阿里云智能计算平台事业部研究员关涛和阿里云智能计算平台事业部资深技术专家徐晟还介绍了飞天大数据平台和飞天AI平台的发展历程，并揭秘了一部分飞天大数据平台技术。

关涛表示，从 2009 年开始研发开始，飞天大数据平台经历了两个阶段的发展。

第一阶段：2009 年-2015 年，这一时期，团队更多关注的是平台的稳定性、易用性和可用性，到 2009 年发布“登月”项目，阿里的所有数据都集中到这一平台，阿里的中台也建设起来；
第二阶段：2015 年之后，随着大数据爆炸时代的到来和深度学习的发展，数据处理能力成为制约 AI 发展的瓶颈，数百 PB 级的数据处理问题、激增的数据处理复杂度成为摆在 CIO/CTO 面前的现实问题。

面对体量问题，阿里通过高效的算子层与存储层的优化，寻找“最优”的执行计划（算子组合），动态查询计划，灵活的算子组合，动态调整与自学习调优，从引擎优化带自学习调优，基于历史信息恶自学习回归优化，全面自适应优化几个方面持续升级了自己的计算力，并使得性能提升前提下存储成本降低 30%，计算新规格上线后成本降低 70%。

徐晟表示，大数据平台升级为飞天大数据平台，很大部分来自于广大企业用户在业务快速发展时期产生的数据治理需求，众所周知，数据是企业的生产力，创新的企业在快速发展过程中，会选择更加灵活、适配自身业务的数据存储与计算，当企业的业务已经铺遍全国，一定会存在存储跟着数据走、数据跟着业务走的局面（即数据分布在各个区域的数据平台上），传统的大数据解决方案，是帮助企业汇聚统一的大数据平台，所有数据存储在一起，计算在一起，而飞天大数据平台可以让客户实现跨存储数据计算、跨地区数据分析、跨云数据使用，让客户的数据技术紧跟业务的发展，让客户实现个性化搭建大数据平台。

多个大数据新品发布

紧接着，李京梅进行了几项全新产品发布，以下为新品盘点和亮点提炼：

DataWorks V3.0

DataWorks V3.0 的定位是一个云原生企业级智能大数据平台，为用户提供技术工具和平台，新特性包括全面支持开源大数据生态，实现管理、任务调度和质量监控等；混合调度能力升级，实现跨引擎、跨区域、跨云调度；多引擎开发平台，可对接多个引擎，并支持自定义引擎；AI 算法能力，结合 AI 和大数据能力；全新升级的数据综合治理能力。