DIN

1. DIN(Deep Interest Network)优点

　　使用用户兴趣分布来表示用户多种多样的兴趣爱好。

　　使用Attention机制来实现Local Activation，局部激活相关的历史兴趣信息，与当前候选Ad相关性越高的历史行为，会获得更高的Attention Score。

　　针对模型训练，提出Dice激活函数，自适应正则，显著提升模型性能与收敛速度。

2. 整体网络结构

　　利用Goods与Ads之间的相关性，引入注意力机制。DIN模型的输入分为2个部分：用户特征和广告(商品)特征。用户特征由用户历史行为的不同实体ID序列组成。在对用户的表示计算上引入了attention network 。DIN把用户特征、

用户历史行为特征进行embedding操作，视为对用户兴趣的表示，之后通过attention network，对每个兴趣表示赋予不同的权值。这个权值是由用户的兴趣和待估算的广告进行匹配计算得到的，如此模型结构符合了之前的两个观察：

用户兴趣的多峰分布以及部分对应。Attention network 的计算公式如下：

其中， $V_u$ 代表用户表示向量， $V_i$ 是用户行为 $i$ 的embedding向量， $V_a$ 代表广告的表示向量。核心在于用户的表示向量不仅仅取决于用户的历史行为，而且还与待评估的广告有直接的关联。

3. 数据自适应激活函数

　　PReLU

其中为指示函数,PReLU函数不适用每层输入为不同分布时的情况。

　　自适应激活函数

其中在训练阶段，和分别为每个mini-batch的均值和方差。

4. 评价指标

其中为用户数，和为第个用户的权重和AUC的值。

5. 参考博客

　　https://www.cnblogs.com/rongyux/p/8026323.html

　　https://www.jianshu.com/p/a356a135a0d2

巴特西