KDD 2019高维稀疏数据上的深度学习Workshop论文汇总

作者 | 深度传送门

来源 | 深度传送门

【导读】本文是“深度推荐系统”专栏的第九篇文章，这个系列将介绍在深度学习的强力驱动下，给推荐系统工业界所带来的最前沿的变化。本文简要总结一下阿里妈妈在 KDD 2019 上组织的第一届面向高维稀疏数据的深度学习实践 Workshop[1] 收录的论文。

今年阿里妈妈在 KDD 2019 上组织了第一届面向高维稀疏数据的深度学习实践 Workshop（官网：https://dlp-kdd.github.io），看这个名字就知道极具推荐、广告领域工业界的大规模深度学习色彩。虽然这次收录的论文主要是来自阿里巴巴和中国高校，但毕竟是基于工业界大规模实际场景需求出发组织的研讨会还是可以多多见识下大家讨论的一些 topic 和 idea 。也借此祝愿这样的研讨会举办得更多一些，越来越有含金量越来越有影响力。

User Behavior Understanding

1. (Best Paper Award) An End-to-End Neighborhood-based Interaction Model for Knowledge-enhanced Recommendation作者：Yanru Qu, Ting Bai, Weinan Zhang, Jianyun Nie and Jian Tang；论文：t.cn/AiQwCNck；代码：t.cn/AiQgYOrI；

提出 KNI 模型引入 KG 以及 GNN 更好地学习用户 -item 之间复杂的结构交互模式，解决 CTR 预估中数据稀疏与冷启动问题，效果好于 WDL 和 DKN 等。并开源了代码。

2. Collaborative Filtering via Learning Characteristics of Neighborhood based on Convolutional Neural Networks作者：Yugang Jia, Xin Wang, Jinting Zhang论文：t.cn/Ai8PIxvF；

借助 CNN 抽取临近 item 的特征，更好地学习用户 -item 之间的隐式关系来提升 CF 类算法的准确性。效果好于 NCF 等。

3. Attention-based Mixture Density Recurrent Networks for History-based Recommendation作者：Tian Wang, Kyunghyun Cho and Musen Wen论文：t.cn/Ai8hcGut；

提出引入注意力机制的 RNN 网络来建模基于向量表示的用户历史，动态预测用户的点击、购买行为等。效果主要和经典的 ICF 、IMF 等在两大公开数据集上进行了对比有明显提升。

4. Behavior Sequence Transformer for E-commerce Recommendation in Alibaba作者：Qiwei Chen, Huan Zhao, Wei Li, Pipei Huang and Wenwu Ou论文：t.cn/Ai8hSGwk；

将 Transformer 的自注意力结构引入推荐系统中典型的 MLP+embedding 网络结构中，在淘宝线上 CTR 预估任务中效果好于 WDL 和 DIN 等。

5. Click-Through Rate Prediction with the User Memory Network作者：Wentao Ouyang, Xiuwu Zhang, Shukui Ren, Li Li, Zhaojie Liu and Yanlong Du论文：t.cn/AiW9R5PL；代码：t.cn/AiW9R5Pq；

提出 MA-DNN（Memory Augmented DNN）综合考虑 CTR 预估工业界性能与效率的折中，既像 DNN 简单，又能像 RNN 针对用户复杂历史行为进行建模。主要是为每个用户新增了两个记忆向量来对用户喜欢和不喜欢的概率进行建模，效果好于 WDL 并开源了代码。

6. A unified Neural Network Approach to e-Commerce Relevance Learning

作者：Yunjiang Jiang, Yue Shang, Rui Li, Wen-Yun Yang, Guoyu Tang, Chaoyi Ma, Yun Xiao and Eric Zhao论文：t.cn/Ai8hOzRe；

来自京东的研究者们提出一种普适的前向网络框架预测 query 和 item 的相关性，同时引进了多项优化手段 Siamese pairwise 框架、随机负样本 Batch 训练以及 pointwise 调优等，效果好于 DSSM 和 GBDT 等。

Representation Learning for High-dimensional Sparse Data

7. Pairwise Multi-Layer Nets for Learning Distributed Representation of Multi-field Categorical Data作者：Ying Wen, Tianyao Chen, Jun Wang and Weinan Zhang论文：t.cn/Ai8htYEM；代码：t.cn/Ai8h3mWq；

提出一种基于 Pairwise 多层网络来学习多值类别特征的表示方法。针对每一个类别特征的每一个离散 field 都学习一个低维向量，然后依靠网络门学习特征内和特征间的交互。在 CTR 预估任务中，效果好于 FNN 和 PNN 等。

8. Learning over Categorical Data using Counting Features作者：Xuyang Wu, Xinyang Gao, Weinan Zhang, Rui Luo and Jun Wang论文：t.cn/Ai8hkttg；

针对目前多值类别特征的 one-hot 编码的诸多问题提出一种新颖的 counting features 方式，在 CTR 预估任务中具有更好的泛化能力。

9. Learning Job Representation Using Directed Graph Embedding作者：Haiyan Luo, Yu Sun, Anand Joseph Bernard Selvaraj and Shichuan Ma论文：t.cn/Ai8hFbGi；

提出仿照经典的 Graph Embedding 方式从用户的 job 转换历史构图学习 job 的 Embedding 表示，效果好于 skip-gram 等。

Embedding techniques

10. Res-embedding for Deep Learning Based Click-Through Rate Prediction Modeling作者：Guorui Zhou, Kailun Wu, Weijie Bian, Xiaoqiang Zhu and Kun Gai论文：t.cn/Ai87wZyp；

针对 CTR 预估任务中经典的 Embedding&MLP 结构中 Embedding 表示学习泛化能力差的问题提出了一种叫做 res-embedding 的方式。由两部分构成：一部分是基于 item 的兴趣图学习的 central embedding；另一部分是相对小维度的 residual embedding。

11. SuperChat: Dialogue Generation by Transfer Learning from Vision to Language using Two-dimensional Word Embedding

论文：t.cn/Ai87UMHa；

借助文本分类中 Super Characters 的两维 embedding 方式，应用在会话生成当中。

Auto feature selection

12. Automatic Feature Engineering From Very High Dimensional Event Logs Using Deep Neural Networks作者：Kai Hu, Joey Wang, Yong Liu and Datong Chen论文：t.cn/Ai87bepi；

提出 Midway NN 网络针对高维事件日志进行自动特征工程。MNN 将特定窗口的输入特征向量转换为稠密的中间特征表示并进行缓存，供增量学习和预测。实验证明可以减少人工参与，以及节省训练和预测的耗时。

Scalable, Distributed and Parallel Training System for Deep Learning

13. XDL: An Industrial Deep Learning Framework for High-dimensional Sparse Data作者：Biye Jiang, Chao Deng, Huimin Yi, Zelin Hu, Guorui Zhou, Buting Ma, Yang Zheng, Sui Huang, Xinyang Guo, Dongyue Wang, Yue Song, Liqin Zhao, Zhi Wang, Peng Sun, Yu Zhang, Di Zhang, Jinhui Li, Jian Xu, Xiaoqiang Zhu and Kun Gai论文：t.cn/Ai87tBXC；

阿里妈妈自研的面向推荐、广告领域高维稀疏数据的深度学习框架 XDL。

Anomaly detection

14. An Adaptive Approach for Anomaly Detector Selection and Fine-tuning in Time Series作者：Hui Ye, Xiaopeng Ma, Qingfeng Pan, Huaqiang Fang, Hang Xiang and Tongzhen Shao论文：t.cn/Ai87cpbF；

15. AMAD: Adversarial Multiscale Anomaly Detection on High-Dimensional and Time-Evolving Categorical Data作者：Zheng G, Zheng Gao, Lin Guo, Chi Ma, Xiao Ma, Kai Sun, Hang Xiang, Xiaoqiang Zhu, Hongsong Li and Xiaozhong Liu论文：t.cn/Ai87c3SC；

参考

1. The 1st International Workshop on Deep Learning Practice for High-Dimensional Sparse Data with KDD 2019 (DLP-KDD 2019）

(*本文为 AI 科技大本营转载文章，转载请联系原作者)

◆

福利时刻

◆

入群参与每周抽奖~

扫码添加小助手，回复：大会，加入福利群，参与抽奖送礼！

大会优惠票限时抢购中！此外，伯克利大学名师精髓课程移师北京。《动手学深度学习》作者、亚马逊首席科学家李沐线下亲授「深度学习实训营」，免费GPU资源，现场还将限量赠送价值85元的配套书籍一本，先到先得。原价1099元，限时专享CSDN 独家福利价199元！识别海报二维码，即刻购票~

推荐阅读

• 姚班三兄弟3万块创业八年，旷视终冲刺港股

• 覆盖10亿设备，月活2亿，快应用要取代App？

• 2019 AI ProCon日程出炉：Amazon首席科学家李沐亲授「深度学习」

• AI Top 30+案例评选等你来秀！

• 干货 | 利用OpenCV，Python和Ubidots来构建行人计数器程序（附代码&解析）

• 腾讯AI击败王者荣耀职业队，1 天训练强度达人类440年，网友：想哭！

• 马云谈 5G 危机；腾讯推出车载版微信；Ant Design 3.22.1 发布 | 极客头条

• 微服务架构到底是什么鬼？

• 互联网人职业发展之路：三年升高工，七年做架构，十年送外卖

• IT公司老板落水，各部门员工怎么救？

你点的每个“在看”，我都认真当成了喜欢