总点第一个视频产生选择偏差？Youtube用“浅塔”来纠正
【导读】本文来自于谷歌研究人员最近发表的一篇论文，介绍了视频平台 Youtube 的视频推荐方法，并在 RecSys 2019 大会上做了分享。本文总结归纳了一些论文中的重点内容。
当用户在 Youtube 上观看视频时，网站会按顺序为用户展示一系列推荐视频的列表。该论文主要聚焦以下两个目标：
1）需要对不同的目标进行优化。没有特定的目标函数，但目标可以被归类为参与度（是否点击、观看时间）目标和满意度（是否点赞、点踩）目标。
2）减小由系统引入的用户的选择偏差，基于推荐视频的位置分布，用户更容易点击系统推荐的第一个视频，即使排在后面的视频有更高的参与度和满意度。
如何让系统高效地学习减小选择偏差是急需解决的问题。
解决方法
图 1：模型的整个结构
论文中介绍的模型聚焦于两个主要目标，同时引用了宽度&深度模型结构，将宽度模型的记忆能力和深度神经网络的泛化能力结合起来。宽度&深度模型会为每个定义的目标（包括参与度和满意度）生成一个预测结果。目标可以归结为二分类问题（如：喜欢或不喜欢某个视频）和回归问题（如：对某个视频的评分）。在这个模型的上面又叠加了一个单独的排序模型，这只是输出向量的权重组合，它们是不同的预测目标。
为达到不同目标的最佳效果，这些权重是人工进行调优的。为了提升效果，研究人员还提出了基于结对和列表的先进方法，但由于计算时间过长，这些方法没有被应用到实践中。
图 2：用 MMoE 替换 shared-bottom 层
宽度&深度模型的深层部分使用了多任务学习模型 MMoE。该模型以当前视频的特征（内容、标题、主题、上传时间等）和观看者的信息（观看时间、个人资料等）作为输入。MMoE 模型的思想主要是基于不同目标之间可以高效地共享权重。底部共享层被分成多个专家层，用于预测不同的目标。每个目标都有一个门函数，这是一个 softmax 函数，以原始的共享层和不同的专家层作为输入。这个 softmax 函数决定对于不同的目标，哪些专家层更加重要。如图 3 所示，不同的专家层对于不同目标的重要性存在差别。与共享层结构的模型相比，如果不同目标之间的相关性越低，那么 MMoE 的训练过程所受影响也会更小。
图 3：多个 YouTube 任务的专家层使用情况
模型的宽度部分主要关注由系统引入的推荐视频位置所导致的选择偏差问题。这一部分被称作“浅塔”（shallow tower），它只是一个简单的线性模型，用到的特征包括被点击视频的位置和观看视频所使用的设备。浅塔的输出与 MMoE 模型的输出相结合，构成了宽度&深度模型结构的主要组成部分。基于这种方法，模型就会更加关注到视频的位置。在训练过程中，将 dropout 率设置为 10%，防止位置特征在模型中的重要性过高。如果你不使用宽度&深度结构，只是把位置当做单独的特征引入，模型大概率注意不到这个特征。
结果
论文中的结果表明，用 MMoE 替代底部共享层后，模型在参与度（推荐视频的观看时间）和满意度（调查反馈）上的表现都有所提升。增加 MMoE 的专家层数目和乘法运算的数目可以进一步提升模型的性能。但由于计算上的限制，在实际部署过程中无法增加该数目。
进一步的结果表明，通过引入“浅塔”减小选择偏差，可以提高参与度。与仅作为 MMoE 模型的输入特征相比较，这是一个显著的提升。
一些有趣的评论
- 虽然 Google 拥有强大的计算基础设施，他们仍需要在训练和服务成本方面保持谨慎；
- 基于宽度&深度模型，你可以设计一个网络，预定义一些对你很重要的特征；
- 当你需要一个多目标模型时，MMoE 模型也许是你的不二选择；
- 即使我们拥有了强大而复杂的模型结构，但仍需要对最后一层的权重进行手动调优，从而根据不同目标的预测结果确定最终的排序。
（*本文为 AI科技大本营编译文章，转载请微信联系 1092722531）
◆
精彩推荐
◆
12月6-8日，深圳！2019嵌入式智能国际大会，集聚500+位主流AIoT中坚力量，100+位海内外特邀技术领袖！9场技术论坛布道，更有最新芯片和模组等新品展示！点击链接或扫码，输入本群专属购票优惠码CSDNQRSH，即可享受6.6折早鸟优惠，比原价节省1000元，学生票仅售399元。
推荐阅读
相关文章：
HTML样式offset[Direction] 和 style.[direction]的区别
为什么80%的码农都做不了架构师？>>> 以offsetLeft与style.left为例： offsetLeft使用的值是字符串，如“100px", style.left则使用数值，如 100 offsetLeft只可以读，因此用无法通过Js改变这个值实现样…
Ubuntu 14.04上安装pip3/numpy/matplotlib/scipy操作步骤
Ubuntu 14.04 64位上默认安装了两个版本的python，一个是python2.7.6,另外一个是python3.4.0，如下图所示： 安装完pip3的结果如下图所示： 升级完pip3的结果如下图所示: 安装完numpy的结果如下图所示: 通过sudo pip3 install matplot…
NSHelper.showAlertTitle的两种用法 swift
var model : CarCity CarCity() if (NSString.isNullOrEmpty(locationLabel.text)) { NSHelper.showAlertTitle(nil, message: "暂无法定位，请检查网络。", cancel: "确定") return } if (NSString.isNullOrEmpty(plateTextFild.text)) { NSHe…
通俗易懂：图卷积神经网络入门详解
作者 | 蝈蝈来源 | 转载自知乎用户蝈蝈【导读】GCN问世已经有几年了（2016年就诞生了），但是这两年尤为火爆。本人愚钝，一直没能搞懂这个GCN为何物，最开始是看清华写的一篇三四十页的综述，读了几页就没读了&a…
Java数据结构一 —— Java Collections API中的表
1.Collection接口 位于java.util包中，以下是重要的部分。 1 public interface Collection<AnyType> extends Iterable<AnyType> 2 { 3 int size(); 4 boolean isEmpty(); 5 void clear(); 6 boolean add(AnyType x); 7 …
Swift 中的内存管理详解
这篇文章是在阅读《The Swift Programming Language》Automatic Reference Counting（ARC，自动引用计数）一章时做的一些笔记，同时参考了其他的一些资料。 在早期的 iOS 开发中，内存管理是由开发者手动来完成的。因为传统…
Ubuntu14.04 64位机上配置OpenCV3.4.2+OpenCV_Contrib3.4.2+Python3.4.3操作步骤
Ubuntu 14.04 64位上默认安装了两个版本的python，一个是python2.7.6,另外一个是python3.4.3。这里使用OpenCV最新的稳定版本3.4.2在Ubuntu上安装python3.4.3支持OpenCV的操作步骤如下： 1. 更新包，执行： sudo apt-get update sud…
“Python之父”从Dropbox退休
作者 | 若名出品 | AI科技大本营（ID:rgznai100）10 月 30 日，Python 之父 Guido Van Rossum 宣布将从工作六年的 Dropbox 公司退休，他在 Twitter 上转发了 Dropbox 团队写的《Thank you, Guido》公开信长文。Guido 表示，…
谭浩强《C++程序设计》书后习题 第十三章-第十四章
2019独角兽企业重金招聘Python工程师标准>>> 最近要复习一下C和C的基础知识，于是计划把之前学过的谭浩强的《C程序设计》和《C程序设计》习题重新做一遍。 编译环境为：操作系统32位Win7，编译工具VC6.0 第十三章：输入输…
图像处理库(fbc_cv)：源自OpenCV代码提取
在实际项目中会经常用到一些基本的图像处理操作，而且经常拿OpenCV进行结果对比，因此这里从OpenCV中提取了一些代码组织成fbc_cv库。项目fbc_cv所有的代码已放到GitHub中，地址为 https://github.com/fengbingchun/OpenCV_Test ，它…
Swift2.x编写NavigationController动态缩放titleView
这两天看到一篇文章iOS 关于navigationBar的一些..中的动态缩放比较有意思,看了一下源码,然后用Swift写了一下,使用storyboard实现. 效果图: 部分代码: 设置滑动代理 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26/**设置滑动代理- parameter scrollV…
云厂商和开源厂商“鹬蚌相争”，他却看到了开发者的新机会
作者 | 夕颜出品 | AI科技大本营（ID:rgznai100）【导读】过去一年，开发者生态发生了一些或巨大、或微妙的变化，大的变化如巨头云厂商正在通过开源、收购等方式争夺开发者生态，比如微软以 75 亿美金收购 GitHubÿ…
Error: could not open 'D:\Program Files\Java\jre7\lib\amd64\jvm.cfg'
重装JDK后，因为没有装在以前的目录，运行java命令后报错，环境变量的设置都没有问题。解决方法：删除c:/windows/system32/目录下的java.exe 、javaw.exe、javaws.exe，找不到的话在C:\Windows\SysWOW64下找。删除三个文件…
循环神经网络(RNN)简介
人工神经网络介绍参考： https://blog.csdn.net/fengbingchun/article/details/50274471 卷积神经网络介绍参考： https://blog.csdn.net/fengbingchun/article/details/50529500 这里在以上两篇基础上整理介绍循环神经网络： 前馈网络可以…
Swift 中 10 个震惊小伙伴的单行代码
几年前，函数式编程的复兴正值巅峰，一篇介绍 Scala 中 10 个单行函数式代码的博文在网上走红。很快地，一系列使用其他语言实现这些单行代码的文章也随之出现，比如 Haskell，Ruby，Groovy，Clojure&a…
满12万送Mate 30 Pro？华为云“双十一”20+款明星产品齐上线
双十一这次是真的真的真真真来了，华为云11.11血拼风暴一促即发！想好怎么玩转双十一了嘛？怎么买到低价高性价比的云主机？怎么抽到100%中奖的礼品？怎么当欧皇被免单？不仅红包、折扣、特惠、满赠、抽奖一样都没…
javascript json对象转字符串形式
2019独角兽企业重金招聘Python工程师标准>>> /*** json对象转字符串形式*/function json2str(o) {var arr [];var fmt function(s) {if (typeof s object && s ! null) return json2str(s);return /^(string|number)$/.test(typeof s) ? "" …
使用 NSURLSession 开发一个支持后台下载和断点续传的下载工具
NSURLSession 是 iOS 系统提供给我们的原生网络操作库，它提供了网络操作相关的一系列特性支持，比如缓存控制，Cookie管理，HTTP 认证处理等等，是一套整体的网络操作处理解决方案。 关于 NSURLSession 的基本特性…
SSHDroid及sshpass简介
一、SSHDroid简介 SSH为Secure Shell的缩写，是建立在应用层基础上的安全协议。SSH是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用SSH协议可以有效防止远程管理过程中的信息泄露问题。SSH客户端适用于多种平台，几乎所有…
漫画：我用深度学习框架画下女朋友最美的脸
这不，又一个程序员为爱变身灵魂画手，看得我都想学画画了。阿华是幸运的，因为他找到了对的方法，事半功倍，最终有情人终成眷属。这也得益于 PyTorch 的易学易用，大多数人第一次使用 PyTorch 几乎可以做到无痛…
吴恩达老师深度学习视频课笔记：循环神经网络
Why sequence models?：序列数据例子，如下图：(1).语音识别(speech recognition)：给定一个输入音频片段X，并要求输出片段对应的文字记录Y，这里输入和输出都是序列数据(sequence data)。因为X是按时序播放的音…
周伯文对话斯坦福AI实验室负责人：下一个NLP前沿是什么？
出品 | AI科技大本营（ID:rgznai100）10 月 31 日，在北京智源大会上，京东集团副总裁兼人工智能事业部总裁、智源-京东联合实验室主任周伯文，斯坦福人工智能实验室负责人（SAIL）Christopher Manning…
IOS8中SWIFT 弹出框的显示
弹出框不管是在网页端,还是在手机APP端,都是常用的控件.在网页中实现个简单的弹出框只需要调用alert,在IOS中,也不是那么复杂,也是容易使用的. 我先用xcode6创建一个名为iOS8SwiftAlertViewTutorial,设置好相关的信息. 在Storyboard中调整好视图显示方式 拖动一个按钮到主视图…
Maven学习笔记(二) ：Maven的安装与配置
在Windows上安装Maven： 1. 首先检查安装JDK通过命令行运行命令：echo %JAVA_HOME%和java -version，能够查看当前java的安装文件夹及java的版本号，maven要求JDK的版本号必须在1.4以上。2. 下载Maven前往maven的下载页面:http://ma…
swift闭包
其实闭包就是函数 作为条件的函数 闭包表达式 首先声明一个数组 <code class"hljs cs has-numbering" style"display: block; padding: 0px; background-color: transparent; color: inherit; box-sizing: border-box; font-family: Source Code Pro, mono…
吴恩达老师深度学习视频课笔记：自然语言处理与词嵌入
Word representation：词嵌入(word embedding)，是语言表示的一种方式，可以让算法自动理解一些类似的词比如男人、女人，国王、王后等。通过词嵌入的概念，即使你的模型标记的训练集相对较小，也可以构建NLP(自然…
高文院士：为什么中国的AI发展必须要有开源开放平台？
出品 | AI科技大本营（ID:rgznai100）10 月 31 日，由北京智源人工智能研究院主办的 2019 北京智源大会在国家会议中心开幕，本次大会围绕人工智能基础研究现状及面临的机遇和挑战、人工智能技术未来发展的核心方向等话题，…
libcurl断点下载遇到的问题
最近游戏把资源（图片、配置、lua）的加载、更新全部改了 ，加载其实还好，就是不走之前的zip解压方式。 以前的大体流程： 下载 –> 启动 –> 解压 –> 更新 –> 进入游戏 现在的大体流程： 下载 –…
sqlite3数据的使用(xcode 7，ios9)
由于考虑将来还要开发Android版本app，为了移植方便，所以使用了sqlite3来做数据持久化，到时候把sql语句拷过去还能用。 1、 首先用xcode载入sqlite3类库 选择工程的TARGETS-build phases-link binary with libraries，点击“”按钮&…
吴恩达老师深度学习视频课笔记：序列模型和注意力机制
基础模型：比如你想通过输入一个法语句子来将它翻译成一个英语句子，如下图，seq2seq模型，用x<1>一直到x<5>来表示输入句子的单词，然后我们用y<1>到y<6>来表示输出的句子的单词，如何训…