from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
tokenizer.tokenize("I have a new GPU!")

[“i”, “have”, “a”, “new”, “gp”, “##u”, “!”]

The tokenizer splits “gpu” into known subwords: [“gp” and “##u”]. 

"##"：that the rest of the token should be attached to the previous one, without space (for decoding or reversal of the tokenization)

SentencePiece： 

from transformers import XLNetTokenizer
tokenizer = XLNetTokenizer.from_pretrained("xlnet-base-cased")
tokenizer.tokenize("Don't you love  Transformers? We sure do.")

[“▁Don”, “’”, “t”, “▁you”, “▁love”, “▁”, “”, “▁”, “Transform”, “ers”, “?”, “▁We”, “▁sure”, “▁do”, “.”]

2.1 Byte-Pair Encoding (BPE)

学习资料：BPE论文

BPE依赖于pre-tokenizer，该pre-tokenizer将训练数据分成单词， Pretokenization可以像空格分词器一样简单。

After pre-tokenization, a set of unique words has been created and the frequency of each word it occurred in the training data has been determined. Next, BPE creates a base vocabulary consisting of all symbols that occur in the set of unique words and learns merge rules to form a new symbol from two symbols of the base vocabulary. It does so until the vocabulary has attained the desired vocabulary size. Note that the desired vocabulary size is a hyperparameter to define before training the tokenizer.

Step1：pre-tokenization：创建一组唯一的单词和在训练数据中出现的每个单词的频率。如：

("hug", 10), ("pug", 5), ("pun", 12), ("bun", 4), ("hugs", 5)

Step2：BPE创建一个base vocabulary（该词汇表由一组出现在唯一词中的所有符号组成）；并学习合并规则（从基础词汇表的两个符号中形成一个新符号）， 这样做直到词汇表达到所需的词汇量vocabulary size 为止。 注意，vocabulary size 是在训练tokenizer之前定义的超参数。如：

Base vocabulary：["b", "g", "h", "n", "p", "s", "u"]

Splitting all words into symbols of the base vocabulary：("h" "u" "g", 10), ("p" "u" "g", 5), ("p" "u" "n", 12), ("b" "u" "n", 4), ("h" "u" "g" "s", 5)

然后，BPE计算每个可能的符号对的频率，并选择最频繁出现的符号对。

假设BPE训练将在此处停止，则将学习的合并规则应用于新单词（只要这些新单词不包括基本词汇表中没有的符号）。

the vocabulary size = the base vocabulary size + the number of merges, is a hyperparameter to choose.

For instance GPT has a vocabulary size of 40,478 since they have 478 base characters and chose to stop training after 40,000 merges.

Byte-level BPE

包含所有可能的基本字符的基本词汇表可能非常大，例如 所有unicode字符都被视为基本字符。 为了拥有更好的基础词汇表，GPT-2使用字节作为基础词汇表，这是一个巧妙的技巧，可以强制基础词汇表的大小为256，同时确保词汇表中包含每个基本字符。随着一些额外的rules 来处理标点符号，GPT-2的标记生成器可以记号化每个文本，而不需要<UNK>符号。

GPT-2的词汇量为50257，它对应于256个字节的基本标记，一个特殊的文本结尾标记以及通过50,000次合并学习的符号。

2.2 WordPiece

WordPiece本质还是用的BPE思想，是用于BERT，DistilBERT和Electra的subword分词算法。

与BPE非常相似，WordPiece首先初始化一个词汇表，包含训练数据中存在的每个字符，然后逐步学习给定数量的合并规则。

与BPE相比，WordPiece不会选择最频繁的符号对，而是会选择一种将训练数据添加到词汇表中的可能性最大化的符号对。最大化训练数据的可能性等同于找到符号对，在所有符号对中，第一个符号后紧跟第二个符号的概率最大。例如。仅当“ ug”由“ u”，“ g”分割的概率大于任何其他符号对时，“ u” followed by“ g”才可以合并。直观上，WordPiece与BPE稍有不同，它通过合并两个符号来评估丢失的内容

2.3 Unigram

与BPE或WordPiece相比，Unigram将其基本词汇表初始化为大量符号，并逐步修整每个符号以获得较小的词汇表。基本词汇可以例如对应于所有pre-tokenized的单词和最常见的substrings。 
Unigram不能直接用于Transformers中的任何模型，但可以与SentencePiece结合使用。

2.4 SentencePiece

参考：https://github.com/google/sentencepiece

使用SentencePiece的模型示例包括ALBERT，XLNet，Marian和T5。

到目前为止描述的所有tokenization算法都具有相同的问题：假定输入文本使用空格分隔单词。 但是，并非所有语言都使用空格来分隔单词。 一种可能的解决方案是使用特定于语言的pre-tokenizers，例如 XLM使用特定的中文、日文和泰文pre-tokenizer。 为了更广泛地解决此问题：

1. SentencePiece将输入视为原始输入流，因此在要使用的字符集中包含空格 ；

2. 然后，它使用BPE或unigram算法来构建适当的词汇表。

XLNetTokenizer使用SentencePiece。 使用SentencePiece进行解码非常容易，因为所有tokens都可以串联在一起，并且用空格替换"▁"。 transformers库中所有使用SentencePiece的模型都将它与unigram结合使用。