管理7k+工作流，月运行超10000万次，Lyft开源的Flyte平台意味着什么？
作者 | Allyson Gale
译者 | 刘畅
编辑 | Jane
出品 | AI科技大本营（ID：rgznai100）
【导读】Flyte 平台可以更容易的创建并发，可伸缩和可维护的工作流，从而进行机器学习和数据处理。Flyte 已有三年多的训练模型和数据处理经验，成为定价，定位，ETA，自动驾驶等团队可实用的平台。实际上，Lyft 内部使用 Flyte 管理着 7000 多个独特的工作流，每月总计运行超过 100000 次，执行 100 万个任务，处理 1000 万个容器。
由于数据现在已成为公司的主要资产，因此执行大规模计算作业对业务至关重要，但从操作角度来看却存在一些问题。扩展，监管计算集群成为每个产品团队的负担，从而减慢了迭代速度，进而减慢了产品创新的速度。
Flyte 的任务是通过抽象这些开销来提高机器学习和数据处理的开发速度。Lyft 团队通过可靠，可扩展，精心设计的计算解决了诸多问题，使团队可以专注于业务逻辑。此外，Flyte 可支持跨租户共享和重用，因此问题只需解决一次。随着数据和机器学习之间的界线越来越不明显，包括从事这些工作的人员，这一点变得越来越重要。
为了让大家更好地了解 Flyte 是如何解决这一切问题，以下是该平台一些主要功能的概述：
1、Hosted、multi-tenant、and serverless
Flyte 可以摆脱麻烦的基础架构，使开发者可以专注于业务问题。作为一个支持多租户的服务，可以自己隔离 repo，并在不影响平台其余部分的情况下进行部署和扩展。平台会对代码进行版本控制，并对其依赖进行容器化，并且每次代码执行都是可重复的。
为了提供这种级别的隔离，研发团队直接将其建立在 Kubernetes 上，获得了容器化提供的所有优点：可移植性，可伸缩性，可靠性等等
2、Elastic Scale
Flyte 的主要目的就是扩展。有了完全分布式的容错控制平面，就不会出现单点故障，并且可以扩展到多个集群，数千个节点和数千个并发工作流。
Lyft 证明了该平台的扩展性，Flyte 已有三年多的训练模型和数据处理经验，成为定价，定位，ETA，自动驾驶等团队可实用的平台。实际上，Lyft 内部使用 Flyte 管理着 7000 多个独特的工作流，每月总计运行超过 100000 次，执行 100 万个任务，处理 1000 万个容器。
3、Parameters、Data Lineage、and Caching
所有 Flyte 的任务和工作流均具有强类型的输入和输出。这样就使参数化工作流程，拥有丰富的数据流，以及使用预先计算的缓存版本成为可能。例如，如果要进行超参数调优，则可以在每次运行时轻松调用不同的参数。此外，如果想调用之前已经计算过的任务，无论执行该任务的是谁，Flyte 都会巧妙地使用缓存输出，从而节省时间和金钱。
4、Versioned, Reproducible, and Shareable
Flyte 中的每个实体都是不可变的，每个更改都会明确地归为新版本。这让使用者可以轻松高效地迭代，测验和回滚工作流。此外，Flyte 支持在工作流之间共享这些版本化的任务，从而避免个人和团队之间的重复工作，加快开发周期。
5、Dynamic and extensible
Flyte 与框架无关，并且有不断增加的插件集合来满足所有工作流需求，包括 K8s 上的 Spark，AWS Batch，阵列作业，Hive Qubole，容器，Pods 等。而且也很容易贡献一个插件！用多种语言编写工作流任务也可能是有利的，因此Flyte 的 SDK 可以扩展到 Python 之外，允许进行真正的多语言编程。
附参考文章：
https://flyte.org/
https://lyft.github.io/flyte/contributor/index.html
（*本文为AI科技大本营翻译文章，转载请微信联系 1092722531）
◆
精彩推荐
◆
2020年，由 CSDN 主办的「Python开发者日」活动（Python Day）正式启动。我们将与 PyCon 官方授权的 PyCon中国社区合作，联手顶尖企业、行业与技术专家，通过精彩的技术干货内容、有趣多元化的活动等诸多体验，共同为中国 IT 技术开发者搭建专业、开放的技术交流与成长的家园。未来，我们和中国万千开发者一起分享技术、践行技术，铸就中国原创技术力量。
【Python Day——北京站】现已正式启动，「新春早鸟票」火热开抢！2020年，我们还将在全国多个城市举办巡回活动，敬请期待！
活动咨询，可扫描下方二维码加入官方交流群~
CSDN「Python Day」咨询群 ????
来~一起聊聊Python
如果群满100人，无法自动进入，可添加会议小助手微信：婷婷，151 0101 4297（电话同微信）
推荐阅读
如何优雅地使用pdpipe与Pandas构建管道？
不可错过！2019 热门机器学习内容盘点
搜狐、美团、小米都在用的Apache Doris有什么好？ | BDTC 2019
伯克利新无监督强化学习方法：
减少混沌所产生的突现行为
机器推理文本+视觉，跨模态预训练新进展
中国搜索 20 年：易守难攻、刚需不减！
你点的每个“在看”，我都认真当成了AI
相关文章：
Jmeter组件执行顺序与作用域
一、Jmeter重要组件： 1）配置元件---Config Element： 用于初始化默认值和变量，以便后续采样器使用。配置元件大其作用域的初始阶段处理，配置元件仅对其所在的测试树分支有效，如，在同一个作用域…
跨平台PHP调试器设计及使用方法——拾遗
之前七篇博文讲解了跨平台PHP调试器从立项到实现的整个过程，并讲解了其使用方法。但是它们并不能全部涵盖所有重要内容，所以新开一片博文，用来讲述其中一些杂项。（转载请指明出于breaksoftware的csdn博客） 触发调试的…
召唤超参调优开源新神器：集XGBoost、TensorFlow、PyTorch、MXNet等十大模块于一身...
整理 | 凯隐编辑 | Jane出品 | AI科技大本营（ID：rgznai100）【导读】Optuna是一款为机器学习任务设计的自动超参数优化软件框架，是一款按运行定义(define-by-run) 原则设计的优化软件，允许用户动态地调整搜索空间&#…
Linux下的Silverlight：Moonlight 1.0 Beta 1发布了
Moonlight是微软Silverlight的一个开源实现，其目标平台是Linux与Unix/X11系统。自从2007年9月开始，Moonlight就在Mono项目下进行了开发，它是由Novell发起并资助的。现在，Moonlight 1.0 Beta 1已经向公众发布了。 Novell和Mono宣布…
在visual studio 2010中调用ffmpeg
转自：http://blog.sina.com.cn/s/blog_4178f4bf01018wqh.html 最近几天一直在折腾ffmpeg，在网上也查了许多资料，费了不少劲，现在在这里和大家分享一下。 一、准备工作本来是想自己在windows下编译ffmpeg生成lib、dll等库文件的&am…
无线路由器与无线AP的区别
摆脱线缆的羁绊，手捧一杯香醇的咖啡在家中的任何角落都可以无拘无束和网友谈天说地──这就是无线的魅力！在无线网络迅猛发展的今天，无线局域网（Wireless Local-Area Network，简称WLAN）已经成为许多SOHO家庭…
Simple Dynamic Strings(SDS)源码解析和使用说明一
SDS是Redis源码中一个独立的字符串管理库。它是由Redis作者Antirez设计和维护的。一开始，SDS只是Antirez为日常开发而实现的一套字符串库，它被使用在Redis、Disque和Hiredis等作者维护的项目中。但是作者觉得这块功能还是比较独立的，应该让其…
“不会Linux，到底有多危险？”骨灰级成程序员：基本等于自废武功！
说起程序员的必备技能，我想大家都可以说很多，比如：算法、数据结构、数学、编程语言等等。对于程序员来讲，这些底层能力固然重要，但是，工具同样也是如此，比如常被大家所忽视的：Linux。…
“Uncaught TypeError: string is not a function”
http://www.cnblogs.com/haitao-fan/archive/2013/11/08/3414678.html 今天在js中写了一个方法叫做search()，然后点击按钮的时候提示： “Uncaught TypeError: string is not a function” 百思不得其解啊，我的js木有问题啊啊.... 后来才发现酱…
关于Nikon Ai AF 28mm F1.4D遮光罩的问题
-- 好不容易找到百变妖，确实比较妖！！遮光罩不好找，原厂推荐的HK-7基本属于古董中的古董。 爬文很久，终于找到一篇国外的介绍，说可以用HK-4代替，比HK-7效果更好，而且可以用85mm 1.4D-…
Simple Dynamic Strings(SDS)源码解析和使用说明二
在《Simple Dynamic Strings(SDS)源码解析和使用说明一》文中，我们分析了SDS库中数据的基本结构和创建、释放等方法。本文将介绍其一些其他方法及实现。（转载请指明出于breaksoftware的csdn博客） 字符串连接 SDS库提供下面两种方法进行字符串…
亚马逊机器学习服务：深入研究AWS SageMaker
作者 | Manish Manalath译者 | Shawn编辑 | Carol出品 | AI科技大本营（ID: rgznai100） 机器学习是一个从数据中发现模式的强大概念。但是，如果您尝试过从零开始构建机器模型，那么您一定知道设计一个可扩展的机器学习工作流是多大的…
Java Timer 定时器的使用
一、延时执行首先，我们定义一个类，给它取个名字叫TimeTask，我们的定时任务，就在这个类的main函数里执行。 代码如下：package test;import java.util.Timer;public class TimeTaskTest { public static void main(Str…
Redis源码解析——前言
今天开启Redis源码的阅读之旅。对于一些没有接触过开源代码分析的同学来说，可能这是一件很麻烦的事。但是我总觉得做一件事，不管有多大多难，我们首先要在战略上蔑视它，但是要在战术上重视它。除了一些高大上的技术，我们…
asp.net客户端脚本验证小技巧
通用的客户端脚本验证 Code//验证客户端function checkclient() { var list document.all; for(var i0 ;i<list.length; i) { var h list[i].hint; if(h ! null && h ! "") { if(list[i].isdrop"…
5个可以帮助你提高工作效率的新AI工具
作者 | Kyrylo Lyzanets译者 | 火火酱编辑 | Carol出品 | AI科技大本营（ID: rgznai100） 毫无意义的新闻、故事和活动会占用你每天多少的工作时间？假如你是一名需要高绩效的高管或专业人士，如果在工作中可以不分心，那你…
Centos6.5更换163源 epel源
想必大家都遇到过，安装新的centos系统，使用yum去安装软件的时候，要么找不到，要么慢的让人发疯。网上其实办法很多，直接更换163源就ok，但是基本所有的文章都是直接wget下163的源，但是不知道为什么…
图模型+Bert香不香？完全基于注意力机制的图表征学习模型Graph-Bert
作者 | Jiawei Zhang、Haopeng Zhang、Congying Xia、Li Sun译者 | 凯隐编辑 | Jane出品 | AI科技大本营（ID：rgznai100）【导读】本文提出了一种全新的图神经网络 Graph-Bert，仅仅基于 Attention 机制而不依赖任何类卷积或聚合操作…
闭关纪要17.Google app engine的简单应用
在上面用了十一篇博客的文章详细的介绍了，Step1账户登录系统之后，从现在开始，继续写闭关纪要，因为Step1账户登录系统也是闭关工作的一部分，因此保留序号，这篇纪要在上次的闭关纪要5.WML,UTF-8,BOM,签名及其…
Redis源码解析——内存管理
在《Redis源码解析——源码工程结构》一文中，我们介绍了Redis可能会根据环境或用户指定选择不同的内存管理库。在linux系统中，Redis默认使用jemalloc库。当然用户可以指定使用tcmalloc或者libc的原生内存管理库。本文介绍的内容是在这些库的基础上&#…
poj_2479 动态规划
题目大意 给定一列数，从中选择两个不相交的连续子段，求这两个连续子段和的最大值。 题目分析 典型的M子段和的问题，使用动态规划的方法来解决。 f[i][j] 表示将A[1...i] 划分为j个不相交连续子串，且A[j]属于第i个子串，…
Redis源码解析——字典结构
C语言中有标准的字典库，我们可以通过pair(key,value)的形式存储数据。但是C语言中没有这种的库，于是就需要自己实现。本文讲解的就是Redis源码中的字典库的实现方法。（转载请指明出于breaksoftware的csdn博客） 一般情况下…
十步，教你把Python运行速度提升 30%
作者 | Martin Heinz译者 | 陆离编辑 | Jane出品 | AI科技大本营（ID：rgznai100）【导读】一直以来，诟病 Python语言的人经常说，他们不想使用的一个原因是 Python 的速度太慢了。不管使用哪一种编程语言，程序…
字符串转换成NSDate类型的 为nil解决方法
方法一 通过下列函数来解决 但是得到的日期会改变 修改方法fix- (NSDate *)timeForString:(NSString *)string {NSMutableString *timeString [[NSMutableString alloc] initWithString:string]; [timeString setString:[timeString stringByReplacingOccurrence…
Redis源码解析——字典基本操作
有了《Redis源码解析——字典结构》的基础，我们便可以对dict的实现进行展开分析。（转载请指明出于breaksoftware的csdn博客） 创建字典 一般字典创建时，都是没有数据的，但是字典类型需要确定，所以我们看到R…
[转]控制 Cookie 的作用范围
默认时，网站的所有 Cookies 都一起被存储在客户端，并且所有 Cookies 连同网站的任何请求一起被发送到服务器。换句话说，网站中的每个页面都能够为网站获取所有的 Cookies。但是，你能够通过两个方式来设置 Cookies 的作用范围&…
强化学习70年演进：从精确动态规划到基于模型
作者 | Nathan Lambert译者 | 泓礼编辑 | 夕颜出品 | AI科技大本营（ID: rgznai100）【导读】这是一份帮你了解强化学习算法本质的资源，无需浏览大量文档，没有一条公式，非常适合学生和研究人员阅读。作为强化学习研究人员…
Android ActionBar相关
1.Android 5.0 删除ActionBar下面的阴影 于Android 5.0假设你发现的ActionBar下面出现了阴影，例如，下面的设置，以消除阴影： getActionBar().setElevation(0); Android 5.0之前能够用以下代码消除阴影： <item name&q…
Redis源码解析——字典遍历
之前两篇博文讲解了字典库的基础，本文将讲解其遍历操作。之所以将遍历操作独立成一文来讲，是因为其中的内容和之前的基本操作还是有区别的。特别是高级遍历一节介绍的内容，充满了精妙设计的算法智慧。（转载请指明出于breaksoftwar…
开发者在行动！中国防疫开源项目登上GitHub TOP榜
整理 | 唐小引出品 | CSDN（ID：CSDNnews）【导读】用开发者们的方式支援这场没有硝烟的战争！截止北京时间 1 月 28 日下午 15:47，全国确诊新型冠状病毒的数字已经到达了 4586 例，疑似高达 6973 例，…