用Bertviz可视化Attention Weight、Position Embedding

去年Google的BERT在NLP界可谓是掀起了一阵飓风，后续跟进的工作很多，实际中也确实是好用得很。其中github上一个叫Bertviz的项目还挺有意思的，这个项目可以把BERT模型里的self-attention等信息可视化出来，由此窥到一些模型的内在性质。之前看到介绍后简单试过，最近又稍微认真玩了玩。

作者的原文介绍里提到BERT模型里部分attention head的确存在明显的位置或语义特征。本来我想分析下BERT在实际句子里是怎么encode位置信息的，不过搞了一会也没看出个究竟来，毕竟神经网络的可解释性还是难啊……

然后我干脆把输入的3个embedding只留position embedding传进encoder层里，也就是无视了实际句子的具体token只看位置。Bertviz生成的Attention Map结果如下图所示，某种意义上还挺有意思的。

参考资料：
用Bertviz可视化Position Embedding