深度学习推荐模型中的上下文信息利用 —— WSDM 2018《Latent Cross》论文精读

深度学习推荐模型中的上下文信息利用 —— WSDM 2018《Latent Cross》论文精读阅读笔记| 论文Latent Cross: Making Use of Context in Recurrent Recommender Systems| WSDM 2018 | Google作者简介Alex Beutel第一作者谷歌资深科学家2016年加入谷歌。卡内基梅隆大学计算机科学博士师从机器学习权威 Alex Smola。Ed H. Chi最后一位作者谷歌主任科学家拥有39项专利发表110余篇论文。加入谷歌前为帕罗奥图研究中心主任研究员明尼苏达大学计算机科学博士。问题背景推荐系统经常需要对上下文Context进行建模。在传统方法中交叉特征Cross Feature——即两个特征的乘积——在矩阵分解和张量分解模型中被广泛使用通过低维Low-Rank表达有效捕捉特征间的交互。但深度学习模型应用于推荐系统时经验表明前馈神经网络并不擅长自然捕捉这种交叉特性带来的低维表达。要达到与显式交叉特征同等的效果深度学习模型需要堆叠更多层数、使用更宽的隐藏层在上下文敏感的推荐场景中往往效果不理想。核心贡献提出隐含交叉Latent Cross方法在嵌入层直接让当前普通输入特征与上下文信息进行乘积运算显式对交叉特性建模而非依赖深度网络自行学习。这是首个尝试将传统推荐系统中交叉特征的思想移植到深度学习语境的工作使上下文信息能够直接作用于输入特征和中间特征从而显著提升其影响力。核心方法传统深度模型将多种输入信息直接拼接Concatenation寄希望于网络自身孹习交叉关系。Latent Cross在嵌入层让普通输入特征与上下文信息进行元素级乘积直接构建交叉特性。这一操作简洁直观无需改动网络主体架构即可引入上下文交互。实验效果在 YouTube 数据集上RNN Latent Cross 相比纯 RNN 效果提升了2%~3%。在工业级推荐系统中这一提升幅度非常可观验证了显式建模交叉特征对深度学习推荐模型的有效性。小结本文系统性地论证了深度学习推荐模型中显式建模交叉特征的必要性。Latent Cross 方法简单直观、易于实现在嵌入层直接注入上下文交互信号为深度学习推荐系统提供了一种有效的上下文利用范式。