当前位置：首页 > 编程日记 > 正文

阿里、京东、快手、华为......他们是如何构建一个个推荐系统“帝国”的？

编程日记 2024-12-27 10:10:00

640?wx_fmt=jpeg

推荐系统在人们的日常生活中随处可见，成为我们生命中不可或缺的一部分。作为当今应用最为广泛和成熟的 AI 技术之一，它是信息生产者、传播者与用户之间的桥梁，可以让信息最精准、最高效地到达需求不一的用户面前。每天打开手机或电脑端的大部分 App 和网页界面，我们第一眼看到的五花八门的内容，都是为你“独家定制”的，正所谓“千人千面”。这背后的技术，就是个性化 AI 推荐算法。

推荐算法总是让你“头大”？

然而，在使用过程中我们会发现，AI 推荐算法推送的内容并不总是让你满意，有时推送的内容甚至与你的兴趣差之千里。推荐算法给人的感觉差强人意，原因是多种多样的，比如数据的缺失、算法本身存在缺陷，或者推荐机制不完善等。而且，即使是在推荐算法的应用已经相当成熟的今天，还存在着隐私、幕后操纵等问题，比如去年闹得纷纷扬扬的 YouTube “艾莎门”视频事件，Facebook AI 推荐操纵美国总统选举的丑闻，以及近日前谷歌工程师实名揭发老东家利用公司资源，通过修改 YouTube 等产品的后台搜索和推荐算法，找到用户中潜在的特朗普支持者，并向他们推送相反的内容给他们洗脑，目的是让特朗普在 2020 年败选，引得特朗普连发推特进行谴责。不得不感叹，这波操作实在让人大开眼界，同时后背发凉。 640?wx_fmt=png

（图源：Fox News 公开视频画面）从技术层面来说，推荐算法主要有基于内容的推荐算法、协同过滤推荐算法和基于知识的推荐算法等，但是每种方法都有其各自的优缺点，比如基于内容的推荐算法可以根据用户以前的观看历史，推荐强关联性的信息，这种方法可以避免 Item 的冷启动问题，但弊端在于推荐的 Item 可能会重复；协同过滤算法的训练过程比较长，但是训练完成后，推荐过程比较快；基于知识的推荐算法则需要构建复杂的规则等。在设计一个推荐系统时，都会涉及召回和排序的算法设计，以更好地理解 item 和 user 的特征与他们之间的关系。以我们最常用的一个场景——购物来说，当系统要向一位用户推荐某一商品时，如何设计一个完整的电商领域推荐系统，选择哪个算法的效果最 work？到底怎样才算做到“真的懂他”？这是推荐系统要解决的一个问题：了解每一个用户（个体），向他们推荐专属需求。从业务角度来说，推荐系统需要更高效、更理解用户，推荐结果更受用户喜欢；推荐算法在更多、更复杂场景下的拓展能力；而企业则是希望在提升效果的同时，还能降低计算、人力等成本。如果你是一名推荐算法工程师，也许你可以和京东推荐工程团队的负责人殷大伟聊一聊，他建立了京东推荐系统。他将为你介绍电子商务推荐系统的设计，然后对推荐系统中存在的研究问题逐个展开，包括候选检索、用户行为理解，以及推荐排名等。最后，还会与你讨论一下商业推荐系统中对这些问题的最新进展和潜在解决方案。进入深度学习时代，推荐算法从传统算法现在在结合 DL 方法后，推荐效果得到了很大的提升，但是，面对不断变化的用户需求，在高昂的计算成本、人力成本下，推荐系统领域的企业和开发者还面临很多挑战，比如面对性能瓶颈、高昂计算成本要怎么办？随着知识图谱、强化学习、AutoML 等技术的研究成果不断应用于工程中，推荐系统也在尝试结合，对于开发者和企业来说，也是一大挑战。而这是否会成为企业都青睐的解决方案？还需要我们在不断探讨与实践。对这些问题，华为诺亚方舟实验室推荐与搜索项目组资深研究员唐睿明可以给你一些答案和意见。他会告诉你，将 DL、强化学习、AutoML 这三项技术应用于推荐系统，会带来如何的效果，有哪些不错的研究与技术大家可以学习与运用？同时，大家还可以深度了解华为诺亚方舟实验室的研究成果以及其在推荐系统中的落地应用情况。一言以蔽之，推荐系统不是没有可做的了，是还有很多工作有待大家去挖掘，也为自己的开发道路开辟新方向。在当下主流的购物、短视频、广告等几大场景中，推荐系统的现在与未来，要如何走？

答案尽在这里

身为开发者，这些问题是不是也在困扰着你，但却苦于没有渠道学习到真正有效的解决之道？现在机会就在眼前，来到 AI ProCon 2019，这里有当前一线的推荐系统构建者们，与你分享当今大受欢迎、效果显著的推荐系统实践案例，将推荐系统在各个领域落地复用的经验倾囊相授！ AI ProCon 2019 专设了推荐系统技术专场，大会组委会邀请到了来自阿里妈妈、京东、华为和快手的推荐系统负责人，他们将带来在广告、电商、视频领域构建推荐系统的设计思路和解决方案： 阿里妈妈深度学习算法平台负责人朱小强（出品人） 640?wx_fmt=png

朱小强，花名怀人，毕业于清华大学，阿里资深算法专家，现任阿里妈妈深度学习算法平台负责人、兼任定向广告&信息流广告排序技术团队负责人。他主持了三代核心算法架构（大规模、深度端到端、深度实时化）的设计和落地，驱动了深度学习对阿里广告技术的全面变革与创新，领导了阿里开源深度学习框架X-DeepLearning从0到1的自研、从1到开源演进的全过程，在KDD、AAAI、SIGIR等顶级会议上发表过DIN/DIEN/ESMM等多篇有影响力的工业实战论文，是workshop DLP-KDD 2019的发起人和联合主席。 京东集团高级总监殷大伟 殷大伟，京东集团高级总监，负责管理推荐工程团队，建立京东推荐系统。他还创建了数据科学实验室，领导推荐、搜索、数据记录、知识图谱等研究工作。在加入京东之前，他是雅虎实验室的高级研究经理，领导相关科学团队并负责雅虎搜索的核心搜索相关性。他获得了利哈伊大学理科硕士学位（2010 年）和博士学位（2013 年），山东大学本科毕业（2006 年）。他的研究领域包括数据挖掘、应用机器学习、信息检索和推荐系统，曾在高级会议和期刊上发表了 70 多篇研究论文，并获得 WSDM 2016 最佳论文奖，KDD 2016 最佳论文奖，WSDM 2018 最佳学生论文奖和 ICHI 2019 最佳论文荣誉奖。 演讲议题：电商中的推荐系统 内容简介：电子商务中的推荐系统通过推荐最符合其需求和偏好的项目来帮助用户完成信息搜索任务。个性化推荐系统已经在商业应用中表现出了巨大的成功，例如亚马逊、eBay、淘宝等。在本次演讲中，我将首先介绍电子商务推荐系统的设计，然后对推荐系统中存在的研究问题逐个展开，包括候选检索、用户行为理解，以及推荐排名等。最后，我将讨论商业推荐系统中对这些问题的最新进展和潜在解决方案。 快手科技推荐架构负责人任恺 任恺，快手科技推荐架构负责人，2015年毕业于卡内基梅隆大学 (Carnegie Mellon University)，获得博士学位。主要研究领域方向为大规模分布式系统、机器学习系统和大数据分析。博士期间发表多篇系统领域顶级会议论文，并曾获得 2014 年世界超算大会(Supercomputing)最佳论文奖。博士毕业后，曾担任 Instagram 广告组的研究科学家。作为Instagram 广告组的创始成员，从零开始建设 Instagram 广告排序服务，和团队合作在一年内将Instagram 广告营收做到数十亿美元规模。2019 年加入快手，负责核心推荐系统和中台的建设，包括推荐线上服务、推荐模型大规模实时训练、推荐异构计算等项目。 华为诺亚方舟实验室推荐与搜索项目组资深研究员唐睿明 唐睿明，华为诺亚方舟实验室推荐与搜索项目组资深研究员。他于 2009 年在中国东北大学获得学士学位，专业为计算机科学与技术；并在 2014 年从新加坡国立大学计算机专业获得博士学位。2014 年底，他加入华为诺亚方舟实验室。他的研究方向包括机器学习、推荐系统、深度学习、强化学习、AutoML等。在基于深度学习和强化学习的推荐系统领域，他的多篇论文发表于国际顶级会议和期刊，如WWW，IJCAI，TOIS，AAAI，RecSys，SIGIR等。 演讲议题：推荐系统中的前沿技术研究与落地：深度学习、强化学习与AutoML 内容简介：推荐系统在人们的日常生活中随处可见，是不可或缺的一部分。深度学习，在大数据时代，做为主流的机器学习模型之一，在图像和语音识别领域取得了突破性的进展。强化学习，在机器人控制和游戏博弈场景下，取得了长足的进步。AutoML，在计算视觉中的图像分类问题中，自动设计出各种新颖的神经网络，不断刷新各类竞赛的精度上限。将这三类技术应用于推荐系统，会带来如何的效果，这是一个非常有趣且值得研究的课题。在这次演讲中，我将首先向大家简单的介绍推荐系统、其在华为内部的一些应用场景；然后我会向大家科普学术界和工业界中一些比较流行的用于推荐系统的深度学习、强化学习模型和AutoML技术；同时，我会向大家展示诺亚方舟实验室研究出的学术成果以及其在推荐系统中的落地应用情况。更多嘉宾正在确认之中......（最终出席嘉宾以现场为准） 2019 年 9.6~9.7（周五~周六），AI ProCon 2019 将在北京富力万丽酒店如约举行。 除了推荐系统论坛之外，我们还邀请到来自阿里、华为、Google Brain、Amazon、微软中国、百度、京东、小米、快手、科大讯飞、商汤、旷视、图森、云知声、思必驰等企业和机构的重磅嘉宾，在 Keynote 和机器学习、计算机视觉、自然语言处理、知识图谱、推荐系统、5G 驱动 AIoT、AI 开源、AI+小程序、AI+DevOps 9 大技术论坛上分享硬核 AI 技术。届时，来自全球各地的 60 余位 AI 专家和学者，包括阿里巴巴技术副总裁贾扬清、微软（中国）首席技术官韦青、思必驰副总裁总裁、北京研发院院长初敏、商汤科技研究总监石建萍等将齐聚一堂，共同研讨机器学习领域最新的技术趋势与最严峻的挑战和难题。 640?wx_fmt=png

AI ProCon 首轮议题曝光，精彩马上为你呈现！ 640?wx_fmt=png

距离大会优惠票 2050 元限时抢购结束只剩 4 天，时间不多，扫描下方二维码购票，即享折扣。 640?wx_fmt=png

特惠票价限时抢购中，扫码或点击阅读原文，了解更多嘉宾和大会信息。

https://www.dkcj.cn/info/33645.html

阿里、京东、快手、华为......他们是如何构建一个个推荐系统“帝国”的？

推荐算法总是让你“头大”？

答案尽在这里

相关文章：

前端基础_ES6

5大典型模型测试单机训练速度超对标框架，飞桨如何做到？

windowsXP用户被禁用导致不能网站登录

从头到尾使用Geth的说明-3-geth参数说明和环境配置

OpenSSL中对称加密算法DES常用函数使用举例

从原理到落地，七大维度读懂协同过滤推荐算法

sql查询语句优化需要注意的几点

决策树算法原理(ID3，C4.5)

对称加密算法之RC4介绍及OpenSSL中RC4常用函数使用举例

SpringMVC中实现的token,防表单重复提交

利用CxImage实现编解码Gif图像代码举例

SpringBoot b2b2c 多用户商城系统 ssm b2b2c

AI“生死”落地：谁有资格入选AI Top 30+案例？

liunx 下su 和sudo 的区别

非对称加密算法之RSA介绍及OpenSSL中RSA常用函数使用举例

依图科技CEO朱珑：“智能密度”对AI发展意味着什么？

Office 2016使用NTKO OFFICE控件提示“文件存取错误”的解决办法

如何制作一个类似Tiny Wings的游戏 Cocos2d-x 2.1.4

腾讯优图开源业界首个3D医疗影像大数据预训练模型

接口冲突的一种解决方法

程序员：请你不要对业务「置之不理」

史上最简单的人脸识别项目登上GitHub趋势榜

Centos 64位 Install certificate on apache 即走https协议

C/C++中“#”和“##”的作用和用法

国贫县山西永和：“一揽子”保险“保”脱贫

内存泄漏检测工具VLD在VS2010中的使用举例

天下武功，唯快不破，论推荐系统的“实时性”

新疆兵团开展迎新春“送文化下基层”慰问演出活动

Python爬取B站5000条视频，揭秘为何千万人为它流泪

父域与子域之的信任关系