自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 KantaiBERT Exploring the parameters

Exploring the parameters

花几分钟时间浏览一下Transformers的参数，以加深对这些参数的理解，学习Transformers是如何制造的，获取模型中的参数，例如：

• 词汇表（52000）x尺寸（768）
• 向量的大小为1 x 768
• 其他维度

注意 ：dmodel=768，模型中有12个头，dk的维数

现在我们了解如何计算模型的参数数量83504416，将进一步计算每个向量的参数数量，首先，程序初始化名为np的参数计数器，并遍历参数列表中的lp（106）个元素
参数是不同大小的矩阵和向量；例如