1 背景

图1 Bert


优点	效果显著
缺点	成本昂贵 (Memory，Time, Money) (GPT-3，1700亿的参数量)
困惑	线上环境，资源受限（内存 CPU GPU） bert不一定是最佳选择用word2vec, glove等词向量有时候也能取得近似效果但什么时候可以近似，需要实验说明，于是作者设计了实验

2 三种词向量

图2 三种词向量

类型	说明	实验
上下文词嵌入	BERT XLNet	作者实验中选BERT 768维
上下文词无关嵌入	Glove Word2Vec FastText	作者实验中选Glove 300维
随机嵌入	n*d矩阵 (n是词汇量， d是嵌入维度)	作者实验中选循环随机嵌入 800维, 空间复杂度O(nd) => O(n)

3 实验和结论

任务	模型
命名实体识别 (NER)	BiLSTM
情感分析 (sentiment analysis)	TextCNN

3.1 影响因素一：训练数据规模

图3 影响因素一：训练数据规模 01

图4 影响因素一：训练数据规模 02

在许多任务中，供充足的数据，GloVe这些词向量可匹配BERT

3.2 影响因素二：语言的特性

3.2.1 Complexity of setence structure

NER: 实体占据几个token （George Washington）

图5 NER中的句子复杂度

Sentiment analysis：句子依存分析中依赖标记对之间的平均距离

图6 Sentiment analysis中的句子复杂度

3.2.2 Ambiguity in word usage

NER: 实体有几个标签（George Washington可以作为人名、地名、组织名）

图7 NER中的句子复杂度

Sentiment analysis：

\begin{array}{l}

H\left( {\frac{1}{{\left| S \right|}}\sum\limits_{w \in S} {p\left( { + 1\left| w \right.} \right)} } \right) \

{\rm{where }}H\left( p \right) = - p{\log _2}\left( p \right) - \left( {1 - p} \right){\log _2}\left( {1 - p} \right) \

\end{array}

图8 Sentiment analysis中的句子复杂度