Transformer课程 第8课NER案例代码笔记-IOB标记

NER Tags and IOB Format

训练集和测试集都是包含餐厅相关文本（主要是评论和查询）的单个文件，其中每个单词都有一个NER标记，将其指定为以下餐厅相关实体之一：

• 便利设施

• 烹饪

• 碟

• 小时

• 地方

• 价格

• 评级

• 餐厅名称

NER标记遵循一种在NER文献中广泛使用的特殊格式，称为IOB格式（内部、外部、开始格式）。该格式不仅为我们提供了标记实体的方法，还提供了指示哪些单词是同一实体的一部分的方法：

• O:这个标签表示单词不是实体的一部分。

• B：这个标签表示该单词是单个单词实体名称，或者是多单词实体名称中的第一个单词。

• I：这个标签表示单词是多单词实体的一部分，但不是完整实体名称中的第一个单词。

看一个例子：

B和I标记在实体类型之前用作前缀，并且可以在您喜欢的任何实体类型之前使用，无论是人、餐馆还是国家。IOB格式有一些变体，可能对单个单词实体使用特殊标记，或对多单词实体中的最后一个单词使用标记。不同的格式可能会给不同类型的数据集带来一些优势。