Hulu视频如何提升推荐多样性?
作者 | 余沾
整理 | 深度传送门（ID: deep_deliver）
导读：本文主要介绍Hulu在NIPS 2018上发表的《Fast Greedy MAP Inference for Determinantal Point Process to Improve Recommendation Diversity》中，提出的DPP算法解决视频推荐中的多样性问题。
引言
随着机器学习技术日益成熟，机器学习的应用领域也越来越广。其中，推荐领域是机器学习一个比较常见且成功的应用场景。推荐多样性和相关性是衡量推荐算法常用的标准，最近项目团队针对搜索多样性做了大量的研究工作。Hulu陈拉明的推荐算法研究团队在NIPS 2018会议上提出的基于DPP的推荐多样性算法，能较好地提高推荐的多样性和相关性，并且执行效率也十分可观。我们团队也复现了该算法，具有不错的上线效果。
DPP 的构造
行列式点过程(Determinantal Point Process, DPP)是一种性能较高的概率模型。DPP将复杂的概率计算转换成简单的行列式计算，并通过核矩阵的行列式计算每一个子集的概率。DPP不仅减少了计算量，而且提高了运行效率，在图片分割、文本摘要和商品推荐系统中均具有较成功的应用。
DPP通过最大后验概率估计，找到商品集中相关性和多样性最大的子集，从而作为推荐给用户的商品集。
行列式点过程 P 刻画的是一个离散集合 
中每一个子集出现的概率。当 P 给定空集合出现的概率时，存在一个由集合 Z 的元素构成的半正定矩阵
，对于每一个集合 Z 的子集 Y，使得子集 Y 出现的概率
，其中，LY 表示由行和列的下标属于 Y 构成的矩阵 L 的子矩阵。
为了更好地理解行列式点过程的定义，下面给出陈拉明在某次讲座中陈述的例子。
由于矩阵 L 是半正定的，因此存在矩阵 B ，使得 
，并且
。这是因为行列式为方阵中的各个列向量张成的平行多面体体积的平方。
为了将DPP模型应用于推荐场景中，考虑将每个列向量 Bi 分解为
，其中：
- r_i 为 item i 与 user 之间的相关性，且
； 
为item i 与 item j 之间的相似度度量，且 
；那么，
。次模函数是一个集合函数，随着输入集合中元素的增加，增加单个元素到输入集合导致的函数增量的差异减小。即对于任意
，都有：
，这一结果显然不适用于实际线上实时性较高的场景。下面，叙述论文中所做的改进：
做Cholesky分解，使得 
。其中，V 是一个下三角矩阵。对于任意 
，对子集 Y 添加一个元素 i 之后的子矩阵做 Cholesky 分解，使得：
。两边取行列式后再取log，可得：
，应用Cholesky分解后，每次迭代只需要计算 
即可。而为了得到 
，先需要求解线性方程组：
。 后，再带入 
得到 。此过程的计算复杂度来源于求解线性方程组，虽然求解线性方程组的计算复杂度也是三次方，但是系数矩阵V是下三角矩阵，因此，每次迭代的计算复杂度可降到二次方。 和 ，从而避免了求解线性方程组带来的计算复杂度。具体过程如下：
，将 
带入上式中，推导可得：
包含最近添加的 w - 1 个商品。
（*本文为AI科技大本营转载文章，转载请联系原作者）
◆
精彩推荐
◆
2019 中国大数据技术大会（BDTC）再度来袭！豪华主席阵容及百位技术专家齐聚，15 场精选专题技术和行业论坛，超强干货+技术剖析+行业实践立体解读，深入解析热门技术在行业中的实践落地。6.6 折票限时特惠（立减1400元），学生票仅 599 元！
推荐阅读
相关文章：
UITextField长度限制的写法
1.遵循代理 UITextFieldDelegate 2.点击响应方法 userNameText.addTarget(self, action: "tappedOne:", forControlEvents: UIControlEvents.EditingChanged) 3.方法的实现 func tappedOne(textField: UITextField) { textField.text textField.text?.uppercaseS…
通过Python在Windows或Linux上快速搭建HTTP服务器
在Windows 7/10或Ubuntu上可以通过python2.x或python3.x来快速搭建一个简单的HTTP服务器。 如果python为2.x，则可执行：$ python -m SimpleHTTPServer 或 $ python2 -m SimpleHTTPServer 如果python为3.x，则可执行：$ python -m h…
NAND FLASH
NAND Flash 以Micron公司的MT29F2G08为例介绍NAND Flash原理和使用。 1． 概述 MT29F2G08使用一个高度复用的8-bit总线（I/O[7:0]）来数据传输、地址、指令。5个命令脚（CLE、ALE、CE#、WE#）实现NAND命令总线接口规程。3个…
swift 中跳转web view的两种方法
首先 遵循代理 引入头文件 #import <WebKit/WebKit.h> 第一种情况 直接跳转 了解不含特殊字符的 import UIKit class NewsViewController: UIViewController,WKNavigationDelegate,UIScrollViewDelegate { var webView : WKWebView WKWebView() override func viewW…
YAML开源库yaml-cpp简介及使用
关于YAML的介绍可以参考：https://blog.csdn.net/fengbingchun/article/details/88090609 yaml-cpp是用c实现的用来解析和生成yaml文件的，源码地址在https://github.com/jbeder/yaml-cpp ，这里使用的是最新发布的稳定版0.6.2. 解析和产生yam…
数据安全引担忧？get它，让你吃一颗“定心丸”
网络购物、在线外卖、远程教育、共享单车……如今，这些数字化的消费场景在个人生活中早已司空见惯。同时，在数字化浪潮下，越来越多的企业意识到大数据资产的价值，并试图推动其数字化转型。数据经济飞速发展，带来便捷和…
ETL数据抽取策略
ETL的抽取策略本文所提到的数据加载策略为OLTP系统作为源系统，并进行ETL数据加载到OLAP系统中所采用的一般数据加载策略。依循数据仓库的工作方式，原始资料由源数据库被抽取出来后，将在中间过程被写入到”Operational Data Store”(ODS)&…
iOS下拉tableView实现上面的图片放大效果
#import "ViewController.h" #define kScreenbounds [UIScreen mainScreen].bounds #define kScreenWidth [UIScreen mainScreen].bounds.size.width #define kScreenHeight [UIScreen mainScreen].bounds.size.height // 宏定义一个高度 #define pictureHeight 200…
在Windows7/10上通过VS2013编译FFmpeg 4.1.3源码操作步骤
多年前在https://blog.csdn.net/fengbingchun/article/details/40951403 中对FFmpeg在windows下的编译过程做过说明，那时FFmpeg版本用的2.4.3, VS是2010，现在FFmpeg最新稳定版为4.1.3，通过VS2013进行编译，较之前有了些不同&#x…
GitHub标星近1万：只需5秒音源，这个网络就能实时“克隆”你的声音
作者 | Google团队 译者 | 凯隐 编辑 | Jane 出品 | AI科技大本营（ID：rgznai100）本文中，Google 团队提出了一种文本语音合成（text to speech）神经系统，能通过少量样本学习到多个不同说话者&…
entity framework 使用Mysql配置文件
2019独角兽企业重金招聘Python工程师标准>>> <?xml version"1.0" encoding"utf-8"?> <configuration><configSections><section name"entityFramework" type"System.Data.Entity.Internal.ConfigFile.En…
UIWebView、WKWebView使用详解及性能分析
一、整体介绍 UIWebView自iOS2就有，WKWebView从iOS8才有，毫无疑问WKWebView将逐步取代笨重的UIWebView。通过简单的测试即可发现UIWebView占用过多内存，且内存峰值更是夸张。WKWebView网页加载速度也有提升，但是并不像内存那样提…
FFmpeg中libavutil库简介及测试代码
libavutil是一个实用库，用于辅助多媒体编程。此库包含安全的可移植字符串函数、随机数生成器、数据结构、附加数学函数、加密和多媒体相关功能(如像素和样本格式的枚举)。libavcodec和libavformat并不依赖此库。 以下是测试代码，包括base64, aes, des, …
区块链人才月均薪酬1.6万元？
在上周，我国宣布将重点推动区块链技术的发展，这个消息无疑是为区块链开发者们打了一直强心剂，简直是喜大普奔啊 ！ 因为之前区块链这个技术虽然一直在圈内很火，但是却没有得到国家的全面认可和推广，所以很多…
用最少的时间学最多的数据挖掘知识（附教程数据源）| CSDN博文精选
作者 | 宋莹来源 | 数据派THU（ID:DatapiTHU）本文为你介绍数据挖掘的知识及应用。引言最近笔者学到了一个新词，叫做“认知折叠”。就是将复杂的事物包装成最简单的样子，让大家不用关心里面的细节就能方便使用。作为数据科学领域从业…
WKWebView 的使用简介
1. navigationDelegate [objc] view plaincopy print?- (void)webView:(WKWebView *)webView didStartProvisionalNavigation:(WKNavigation *)navigation { // 类似UIWebView的 -webViewDidStartLoad: NSLog("didStartProvisionalNavigation"); [UIAppli…
FFmpeg中libswscale库简介及测试代码
libswscale库功能主要包括高度优化的图像缩放、颜色空间和像素格式转换操作。 以下是测试代码(test_ffmpeg_libswscale.cpp)： #include "funset.hpp" #include <string.h> #include <iostream> #include <string> #include <memor…
FFmpeg中libswresample库简介及测试代码
libswresample库功能主要包括高度优化的音频重采样、rematrixing和样本格式转换操作。 以下是测试代码(test_ffmpeg_libswresample.cpp)，对音频了解较少，测试代码是参考examples中的： #include "funset.hpp" #include <iostre…
高德地图POI搜索，附近地图搜索，类似附近的人搜索
效果图： 首先导入道德地图的SDK，导入步骤不在这里介绍 2：包含头文件： [objc] view plaincopy #import <AMapSearchKit/AMapSearchAPI.h> 3：代码 [javascript] view plaincopy property(nonatomic,strong)AMap…
手把手教你实现PySpark机器学习项目——回归算法
作者 | hecongqing 来源 | AI算法之心（ID:AIHeartForYou）【导读】PySpark作为工业界常用于处理大数据以及分布式计算的工具，特别是在算法建模时起到了非常大的作用。PySpark如何建模呢？这篇文章手把手带你入门PySpark，…
mcDropdown使用方法
最近使用了mcDropdown插件，百度一查，资料较少，只看到了mcDropdown官网的英文说明文档，所以今天就写点，以便以后使用。 第一步：引用jquery库和css jQuery v1.2.6 (or higher)*jquery.mcdropdown.js Plug-inj…
Windows上通过VLC播放器搭建rtsp流媒体测试地址操作步骤
1. 从https://www.videolan.org/index.zh.html 下载最新的windows 64bit 3.0.6版本并安装； 2. 打开VLC media player，依次点击按钮：”媒体” --> “流”，如下图所示： 3. 点击”添加”按钮，选择一个视频…
Swift - AppDelegate.swift类中默认方法的介绍
项目创建后，AppDelegate类中默认带有如下几个方法，具体功能如下： 1，应用程序第一次运行时执行这个方法只有在App第一次运行的时候被执行过一次，每次App从后台激活时都不会再执行该方法。（注：所有…
上热搜了！“学了Python6个月，竟然找不到工作！”
在编程界，Python是一种神奇的存在。有人认为，只有用Python才能优雅写代码，提高代码效率；但另一部分人恨不能把Python喷成筛子。那么，Python到底有没有用，为什么用Python找不到工作？CSDN小姐姐带…
Linux0.00内核为什么要自己设置0x80号陷阱门来调用write_char过程？
我一开始没注意这个问题，只是通过陷阱门觉得很绕弯子，为何不在3级用户代码里直接调用write_char，今天自己写程序想用call调用代码段，才发现了大问题。我写了个类似于write_char的过程，代码如下：dividing_li…
iOS支付宝(Alipay)接入详细流程，比微信支付更简单，项目实战中的问题分析
最近在项目中接入了微信支付和支付宝支付，总的来说没有那么坑，很多人都说文档不全什么的，确实没有面面 俱到，但是认真一步一步测试下还是妥妥的，再配合懂得后台，效率也是很高的，看了这篇文章&a…
LIVE555简介及在Windows上通过VS2013编译操作步骤
LIVE555是使用开放标准协议(RTP/RTCP, RTSP, SIP)形成的一组用于多媒体流C库。这些库支持的平台包括Unix(包括Linux和Mac OS X)、Windows和QNX(以及其它符号POSIX的系统)。这些库已经被用于实现的应用例如LIVE555媒体服务器、LIVE555代理服务器(RTSP服务器应用)以及vobStreamer…
GitHub App终于来了，iPhone用户可尝鲜，「同性交友」更加便捷
整理 | 夕颜出品 | AI科技大本营（ID:rgznai100）【导读】据外媒 VentureBeat 报道，在 11 月 13 日举行的 GitHub Universe 上，微软宣布了面向程序员和开发人员的一系列升级，包括针对 iOS 智能手机和 iPad 推出的 GitHub…
[NHibernate]代码生成器的使用
目录 写在前面 文档与系列文章 代码生成器的使用 总结 写在前面 前面的文章介绍了nhibernate的相关知识，都是自己手敲的代码，有时候显得特别的麻烦，比如你必须编写持久化类，映射文件等等，举得例子比较简单，…
RapidJSON简介及使用
RapidJSON是腾讯开源的一个高效的C JSON解析器及生成器，它是只有头文件的C库。RapidJSON是跨平台的，支持Windows, Linux, Mac OS X及iOS, Android。它的源码在https://github.com/Tencent/rapidjson/，稳定版本为2016年发布的1.1.0版本。 Rap…