《使女的故事》大火,AI是背后最大推手?
作者 | Just、Rachel
出品 | AI科技大本营(ID:rgznai100)
还记得大火的美剧《使女的故事》吗?
先别着急回答,这次我们不讲剧情,而要说的是这部剧背后的发行方是美国 Hulu 网站。该网站是美国第二大付费在线视频平台,以提供电影电视点播服务和电视直播服务为主。截止今年 4 月底,它在美国已拥有近 2900 万付费用户。
由于 Hulu 的主要业务都在美国,中国绝大部分电视观众可能对这家公司比较陌生——除了工程师群体。创立初期,Hulu 就在北京成立了办公室,目前有两百多名员工,是仅次于洛杉矶总部的第二大研发中心。Hulu 公司本身的技术实力毋庸置疑,再加上外企工作氛围,吸引着诸多优秀工程师加入,但准入门槛不低于国内的 BAT 等一线大厂。
据了解,Hulu 北京办公室的人员构成主要有工程师、研究员和项目经理,主要负责的业务线有个性化推荐与内容发现、视频编解码与优化、广告精准投放、用户数据管理等。
《使女的故事》之所以能火起来,很大程度上与剧集内容本身的质量相关,但在发行初期的“冷启动”阶段,如何把它推荐给可能感兴趣的观众也至关重要。这背后就要依靠 Hulu 网站个性化推荐等相关技术的力量。
Hulu 北京首席研究主管谢晓辉告诉 AI科技大本营,Hulu 的大数据分析部门有长期的项目来研究和评估一部影视剧给用户带来的价值,基于对用户的兴趣与偏好分析,Hulu 内容的分类和完整度等数据,以及内容可能的流行程度等多维度的信息的综合分析,是内容部门决策原创剧的核心要素之一。
作为 5 月 25 日-5 月 27 日即将在杭州举办的 CTA 大会(官网:https://dwz.cn/iSZ7BQUR)机器学习论坛的演讲嘉宾,AI科技大本营对 Hulu 北京首席研究主管谢晓辉进行了采访,他就 Hulu 自身视频业务与机器学习技术如何结合,机器学习技术在视频理解领域的现状和挑战,以及视频内容理解技术未来的主要研究方向等问题做出解答。
谢晓辉,Hulu 北京首席研究主管
以下为采访内容实录:
AI科技大本营:你们在机器学习技术的研发上,近几年哪些重大进展?Hulu 是如何将机器学习技术与自身业务结合的?
谢晓辉:为了更好的利用机器学习提升 Hulu 的业务服务能力,Hulu 构建了 AI 开发平台,并基于 AI 平台,搭建了 Hulu 内部的 data mart 和 feature mart,同时还提供 nimbus(Hulu 分布式深度学习平台)和 MLAAS(机器学习服务平台)。
针对视频理解的特殊需求,我们还开发了 Frame house 用来存储针对 Hulu 全量视频拆分出来的秒级别视频帧图像与拆分的基本音频信号单元。AI 开发平台的搭建,大大提升了 Hulu 研究开发的效率。
AI科技大本营:Hulu 是如何做视频理解的?视频理解使用了哪些主要的机器学习方法?近几年,相关技术有哪些新进展?
谢晓辉:视频理解在 Hulu 目前包括三方面的工作,首先是对视频进行精细化切分,提取视频中相关的人工编辑痕迹,包括片头、前情提要、音乐、图标标识、镜头切分、场景变换、片尾、嵌入文字等等,目前我们已经高质量的完成了大多数元素的提取,借助这些数据 Hulu 可以方便的实现对视频元数据的半自动或者全自动检测与审核;
其次是视频标签预测,Hulu 人工整理了镜头级别、视频级别和剧集级别的分类词表,基于多源、多模态机器学习算法对视频进行镜头、视频和剧集级别的标签分析和预测;在内容生成方面的工作则包括个性化封面图、视频摘要的生成等,同时还融合视频的多标签信息构造了视频内容的向量表示,已经被广泛用于深度推荐算法、内容价值分析等多个项目中。
这些工作均大量涉及深度学习模型,非(半)监督和监督学习算法、多模态融合学习等方法也被广泛应用。
AI科技大本营:Hulu 是如何将视频理解技术应用于视频推荐和内容发现的?在业务实践中遇到了哪些挑战?
谢晓辉:视频网站面临的挑战一方面来自于头部视频的用户选择成本非常高,而且头部视频的展示空间有限,其次由于用户消费头部视频的行为通常稀疏、复杂而且感性,但借助于对视频的精确理解、细致与丰富的刻画,可以有效的把符合用户兴趣的视频尽量精准的分发给用户。
因此 Hulu 很早就开始在视频内容理解方向进行探索和实践,例如借助视频相似性来解决内容冷启动问题、利用视频精细化标签对视频内容分组、构建内容的特征表示应用于深度推荐模型中等等。
这其中也面临多方面的挑战。例如,内容理解的结果需要通过复杂的推荐系统影响用户,再借助用户有效点击率等方式进行评估,导致内容理解的反馈链条相对较长,有时还会存在短期效果不明显等问题,这也直接导致内容理解的算法模型参数迭代优化的成本较高。
其次目前机器学习更擅长提取偏客观事实的标签,对推荐系统更加重要的偏情感的高语义主观性标签则相对困难;另外,视频数据的标注与结果评估相比图像更加困难,迁移学习的直接效果多数也并不好,这可能是由于影视剧中包含大量卡通动画内容、较多的虚假场景和演员化妆现象、以及诸如背景虚化等影视后期处理的影响,给视频理解带来了巨大的挑战。
AI科技大本营:流媒体是这几年大热的视频播放类型,相比于其他同类型的视频网站(如 YouTube,HBO等),您认为 Hulu 的技术优势体现在哪些方面?
谢晓辉:Hulu 从超过 500 家内容提供商处获取内容资源,与全美多家著名电视台及电影公司,比如迪士尼、21 世纪福克斯、NBC 环球、时代华纳等都有合作协议,向用户授权点播最新的正版电视剧集和节目、经典电影和自制剧等视频资源;同时 Hulu 与超过 1000 家广告提供商合作,提供在线视频广告服务;Hulu 提供的直播服务更是涵盖了美国主流电视广播频道,这些在线电视节目与点播节目被有机的整合在一起,提供给用户一致的点播观看体验。
从以上可以看出,Hulu 的这些业务与 YouTube、HBO 等有明显的不同,因此 Hulu 的技术优势也更聚焦在支持这些业务的稳定、可扩展的自有技术平台上。
AI科技大本营:未来几年,多模态机器学习是视频内容理解技术的主要研究方向之一吗?在 Hulu 的实际业务中,会使用多种类型的信息(文本、图像等)进行视频内容理解和推荐吗?
谢晓辉:借助于深度学习和算力的快速发展,视频内容理解价值得到快速释放和提升,对产品和业务的影响也越来越大。但是视频内容理解其自身依然还存在诸多的挑战,这些问题包括视频的标注、高阶语义分析、非(半)监督学习、基于视频的识别/分类模型等等,我相信它们也会是未来几年该领域的主要研究方向。
头部视频天然包含了视觉帧序列、音频信号、字幕和相关描述信息,因此多模态机器学习是视频内容理解的常见思路和基础方法。在Hulu的实际业务中,无论是视频片头片尾元素的检测、亦或视频标签的预测、或者视频摘要、封面图的自动生成,都是多模态融合的解决方案。
AI科技大本营:在即将举办的 CTA 大会上,能否透露一些主要会分享哪些方面的内容?
谢晓辉:感谢 CSDN 的邀请,能提供 CTA 这样一个平台可以和关注 AI 和新技术发展的朋友们一起交流与探讨。我带来的报告内容主题是“视频理解在个性化推荐和内容发现中的应用”,分享Hulu 在借助于视频内容理解来优化个性化推荐和内容发现方面的探索和实践经验,内容涉及视频理解在内容冷启动、视频精细化标签和分组、深度推荐模型中的应用等等,希望大家感兴趣并一起讨论。
(*本文由 AI科技大本营原创,转载请联系微信 1092722531)
◆
CTA核心技术及应用峰会
◆
5月25-27日,由中国IT社区CSDN与数字经济人才发展中心联合主办的第一届CTA核心技术及应用峰会将在杭州国际博览中心隆重召开,峰会将围绕人工智能领域,邀请技术领航者,与开发者共同探讨机器学习和知识图谱的前沿研究及应用。议程设置请请识别海报二维码查看。
目前CTA峰会倒计时5天!还没有拿到入场券的小伙伴可以扫描识别海报二维码或者点击阅读原文,即刻抢购。你也添加小助手微信15101014297,备注“CTA”,了解票务以及会务详情。
推荐阅读
掌声送给TensorFlow 2.0!用Keras搭建一个CNN | 入门教程
一文回顾AI绘画的成长之路:从简笔画到真实人脸生成
清华AI学堂班:姚期智担任首席教授,2019年首批招收30人
中国AI开发者真实现状:写代码这条路,会走多久?
520 这天,我突然意识到,她根本配不上我这么聪明的男人
厉害!女学生偷师男子学校,变身区块链开发工程师
确实, 5G与物联网离不开区块链!
刷了一个半月算法题,我薪资终于Double了
Linux 之父:我就是觉得苹果没意思!| 人物志
这本京东断货王的Python神书,刷爆整个编程圈!
相关文章:

jQuery事件处理一瞥
以前部门一直都是使用一个名为QTT的JS框架。最近老大提出要转用jQuery框架,需要将旧框架的一些JQ没有实现的功能移植到JQ中去。当我移植到event库的时候,以下是其代码: QTT.event {KEYS : {BACKSPACE : 8,TAB : 9,RETURN : 13,ESC : 27,SPAC…

【C++】零散知识
1、抛异常时,还会执行析构操作吗? 发生异常(抛异常)时,在该作用域中的局部非PAD变量(即,有构造函数和析构函数的变量)会执行析构操作。 2、new出的内存一定在堆上吗? …

百度景鲲“升职记”
整理 | 琥珀出品 | AI科技大本营(id:rgznai100)近日,据多家媒体报道,百度人力资源负责人崔珊珊发出晋升邮件宣布,智能生活事业群总经理景鲲晋升为副总裁。百度在晋升邮件中评价他:“敢打硬仗、能…

南通市公积金信息系统goldengate复制软件采购
(二)容灾软件部分:2套Oracle GoldenGate 11G ,1 CPU(必须提供原厂商针对本项目授权、质保承诺)。特性指标系统平台支持1. 支持主流操作系统,包括:IBM AIX、HP-UX、Linux、Sun Solaris、Mic…

开源需自立!Android、GitHub、Apache全线告急!
作者 | 胡巍巍&伍杏玲责编 | 唐小引出品 | CSDN(ID:CSDNnews)华为四面楚歌,“破窗效应”爆发!继5月16日美国商务部工业与安全局(BIS)将华为列入“实体清单”之后,越来越多的美国…

【C】linux下切换工作目录至程序所在目录
1、获取当前程序的绝对路径 /proc/self/exe是一个符号链接,代表当前程序的绝对路径 用readlink读取/proc/self/exe可以获取当前程序的绝对路径 2、从字符串中获取目录 char dirname(char path); 3、改变当前工作目录 int chdir(const char *path ); 4、完整示…

Eclipse基金会发布Eclipse Photon IDE
Eclipse基金会发布了最新版本的Eclipse IDE。Eclipse Photon带来对Java 10和Java EE 8的支持,增强了PHP开发工具和Dark主题等功能。\\Eclipse Java开发工具(Eclipse Java Development Tools,JDT)对Java 10提供了完整的支持&#x…

【C++】智能指针(一)入门
1、 智能指针背后的设计思想 智能指针背后的思想是RAII,参见博客【C】零散知识 我们先来看一个简单的例子: void remodel(std::string & str) {std::string * ptr new std::string(str);...if (weird_thing())throw exception();str *ptr; dele…

Oracle 11g Release 1 (11.1) PL/SQL_多维 Collection 类型和其异常
本文内容 多维 Collection Collection 异常 多维 Collection 虽然 collection 只有一维的,但可以模型一个多维的。创建一个 collection,其每个元素也是 collection 。例如,创建一个 varray 的 nested table,一个 varray 的 varray…

入门系列之使用fail2ban防御SSH服务器的暴力破解攻击
欢迎大家前往腾讯云社区,获取更多腾讯海量技术实践干货哦~ 本文由SQL GM 发表于云社区专栏 介绍 对于SSH服务的常见的攻击就是暴力破解攻击——远程攻击者通过不同的密码来无限次地进行登录尝试。当然SSH可以设置使用非密码验证验证方式来对抗这种攻击,例…

谁能解答我对知识图谱的上百个疑问?
近日,我们采访了东南大学认知智能研究所所长漆桂林教授和复旦大学知识工场实验室负责人肖仰华教授,围绕知识图谱这两年在研究与产业应用道路上的一些进展与仍面临的问题。漆桂林教授提到,近两年,知识图谱的研究在四大关键技术上都…

ecshop 商品颜色尺寸仿淘宝选择功能教程(2.7.0版本)
牵涉到的修改文件(default模板为例) /themes/default/style.css /themes/default/goods.dwt 注:此路径待修改模板路径.修改步骤:一:控制样式 1.打开/themes/ecshop/p_w_picpaths 加添图片test.gif. 2.打开/themes/ecshop/style.css 最下面添加: /*--------------颜色选择器CSS添…

【C++】Effective STL:50条有效使用STL的经验
第一条:慎重选择容器类型 1、C容器:先混个眼熟 序列容器:array、vector、string、deque、list、forward_list 有序关联容器:set、map、multiset、multimap 无序关联容器:unordered_set、unordered_map、unordered_mu…

ICML 2019接受论文:清华、北大领跑,谷歌强压枝头,BAT略显“低调”
整理 | 刘畅责编 | Jane、Rachel出品 | AI科技大本营(id:rgznai100)【AI科技大本营导语】今年 6 月,机器学习领域顶会 ICML 2019 将在美国举行。为了帮助大家更好了解会议论文的情况,博世(Bosch)…

C++STL 优先队列priority_queue使用
头文件:#include <queue> 一.申明方式 std::priority_queue<T> q; std::priority_queue<T, std::vector<T>, cmp> q;1.普通方法: priority_queue<int> q; //大的优先级高 priority_queue<int,vector<int>, …

【SVN】linux下svn命令参数详解(二)
svn全部子命令详解1、svn help2、svn add3、svn blame4、svn cat5、svn changelist6、svn checkout7、svn cleanup8、svn commit9、svn copy10、svn delete11、svn diff12、svn export13、svn help14、svn import15、svn info16、svn list17、svn lock18、svn log19、svn merge…

VClient 无法连接Vcenter
前一段在一台windows server 2008 R2上使用local Administrator 安装了VCenter 4.1. 一开始使用VClient 是可以登录的,但是重新启动这台安装有VCenter 的Server 之后就连接不到了。为什么呢? 打开这台Windows Server 2008 查看服务发现SQL 和 VM 都有服务…

智能音箱玩出新花样?这家公司推出2699元的智能虚拟机器人
家居控制、备忘提醒、媒体播放、智能聊天… …如今,AI 应用备受瞩目,智能虚拟机器人也成为了 AI 应用的新方向。 5 月 20 日下午,专注于虚拟机器人研发、平台软件开发运用及销售为一体的公司欧博思发布了 AI BOX 智能虚拟机器人产品。 乍一…

干货 :数据可视化的10个关键术语
2019独角兽企业重金招聘Python工程师标准>>> Format 交互方式 交互式可视化允许您修改,操作和探索计算机显示的数据。绝大多数交互式可视化系统在计算机网络上,但越来越多出现在平板电脑和智能手机上。相比之下,静态可视化只显示单…

【设计模式】三大类:创建型模式、结构型模式、行为型模式
1 创建型模式 本人理解:以C为例,创建对象时,用关键字new来创建(实例化)对象。用一个函数或类将new的过程封装起来,就是创建型模式。 《设计模式》中的描述: 创建型模式抽象了实例化过程。它们…

单机训练速度提升高达640倍,快手开发GPU广告模型训练平台
作者|廉相如(快手FeDA智能决策实验室 )如何有效处理大规模用户数据进行广告推荐?对于互联网企业的发展和进步至关重要。这也是为何快手成立西雅图实验室并实现新一代GPU广告模型训练平台的原因之一。快手新创建的“Persia”GPU广告…

比特币SPV节点启动流程图
2019独角兽企业重金招聘Python工程师标准>>> 比特币SPV节点启动流程图 图小点击右键在新窗口打开 转载于:https://my.oschina.net/penghaozhong/blog/1924687

Android中后台定时任务实现,即时数据同步问题思考!
为什么80%的码农都做不了架构师?>>> 如果你正在找Android后台定时任务实现,那么你找对了,但是其实如果你正在找Java后台任务实现,你就不会找到我的这个博客了.但是我的实现方式没有使用多少Android相关的东西.确实.但是如果你进来了,Thank you!你还是会…

面对996,程序员如何利用“碎片时间”涨薪?
图片来源|视觉中国作为一个程序员,需要不断学习更新知识技能来提升自己。但爆炸式的信息量,总使人抓不到学习重点。所以,笔者为大家筛选了几个程序员会阅读的小众公众号,覆盖全面,囊括了不同的技术类别。小道消息&…

JakartaEE Exception: Invalid bound statement (not found): com.mazaiting.blog.dao.UserDao.selectUs...
异常 org.apache.ibatis.binding.BindingException: Invalid bound statement (not found): com.mazaiting.blog.dao.UserDao.selectUserByNameat org.apache.ibatis.binding.MapperMethod$SqlCommand.<init>(MapperMethod.java:227) ~[mybatis-3.4.6.jar:3.4.6]at org.a…

【Qt】AVFrame转QImage
FFmpeg的AVFrame转成Qt的QImage //头文件 #ifdef __cplusplus extern "C" {#endif #include <libavcodec/avcodec.h> #include <libavcodec/avformat.h>

C# 回发或回调参数无效
回发或回调参数无效。在配置中使用 <pages enableEventValidation"true"/> 或在页面中使用<% Page EnableEventValidation"true" %> 启用了事件验证。出于安全目的,此功能验证回发或回调事件的参数是否来源于最初呈现这些事件的服务…

【QT】Qt正则表达式的使用:使用QRegExp来限制QLineEdit的输入格式
QLineEdit中使用QRegExp来限制输入格式,下面以IP输入框为例 QLineEdit *lineEditIP = new QLineEdit("192.168.147.200", this);QRegExpValidator *reg = new QRegExpValidator(GW::RegExp::ipRegExp(), this)

小小的Python编程故事
现在Python的火热已经不是整个编程界的事情了,Python的火热已经蔓延到小学、大学课程,之前看新闻报道说青岛的小学生课程里都开始设置Python的课程了,大学里由原来必考的VB也改成了Python。一时大家都掀起了学习了Python的热潮,而…

python 验证码识别示例(二) 复杂验证码识别
在这篇博文中手把手教你如何去分割验证,然后进行识别。 一:下载验证码 验证码分析,图片上有折线,验证码有数字,有英文字母大小写,分类的时候需要更多的样本,验证码的字母是彩色的,图…