NLP-transformer-分词库用法

参考文档： https://blog.csdn.net/orangerfun/article/details/124089467

1 pip install transformer

2 下载专有的vocab.txt词典

　　这个词典用于把单词-> id -> 词向量

　　https://github.com/google-research/bert

3 实例化分词实例

1 from transformers import BertTokenizer

2 import torch

3

4 token = r"vocab.txt"

5

6 bert_tokenizer = BertTokenizer(vocab_file=token)

4 分词任务

# 1 分词任务

res = bert_tokenizer.tokenize("山海关总兵官吴三桂")

print(res)

['山', '海', '关', '总', '兵', '官', '吴', '三', '桂']

5 转为id

# 2 转化为id
# 接受一个词或字列表
idres = bert_tokenizer.convert_tokens_to_ids("山海关总兵官吴三桂")
print(idres)
idres = bert_tokenizer.convert_tokens_to_ids(res)
print(idres)
# 一个字时候是否是准的？ 准确id
idres = bert_tokenizer.convert_tokens_to_ids("山")
print(idres)

6 转文字

# id转字

wordres = bert_tokenizer.convert_ids_to_tokens([2255, 3862, 1068, 2600, 1070, 2135, 1426, 676, 3424])

# 可以成功转为对应汉字

print(wordres)

# 来看看 前面误操作的 100 能转为什么

wordres = bert_tokenizer.convert_ids_to_tokens(100)

print(wordres)

7 使用回调函数实现批量等工程级别操作

text: 需要被编码的文本，可以是一维或二维list 最好是一维的
padding: 是否需要padding，可选如下几个值
truncation: 是否要进行截断
True or 'longest_first'，保留由max_length指定的长度，或者当max_length没有指定时，截取保留模型最大能接受的长度，对于sentence pair，截取长度最大的句子
False or 'do_not_truncate (default) 不截取
only_first，截取到max_length, 但是只截取sentence pair中的第一个句子
'only_second'，同理，只截取pair中第二个句子
max_length，句子最大长度，和padding及truncation相关

合理动态padding问题

注意：因为需要添加句子头和尾

['[CLS]', '我', '爱', '北', '京', '天', '[SEP]']

[101, 2769, 4263, 1266,  776, 1921,  102]
所以如果最大长度max_length，句子最大长度 设置为7的话，  注意5个位置来存实际的内容。

当max_length=10时候，填充为

{'input_ids': tensor([[ 101, 2769, 4263, 1266, 776, 1921, 2128, 7305, 102, 0],
[ 101, 2408, 1767, 1391, 4156, 7883, 102, 0, 0, 0]])，在标志位后面添加000

本质：输出为输入model的长度词列表。

最大长度max_length即输入model的最大长度。

examples = [["我爱北京天安门", "广场吃炸鸡"],["苏德战争","俄罗"]]

res = bert_tokenizer(examples,

                padding="max_length",

                truncation=True,

                max_length=10,

                return_tensors="pt",

                return_length=True)

print(res)

{'input_ids': tensor([[ 101, 2769, 4263, 1266,  776,  102, 2408, 1767, 1391,  102],

        [ 101, 5722, 2548, 2773,  751,  102,  915, 5384,  102,    0]]), 'token_type_ids': tensor([[0, 0, 0, 0, 0, 0, 1, 1, 1, 1],

        [0, 0, 0, 0, 0, 0, 1, 1, 1, 0]]), 'length': tensor([10,  9]), 'attention_mask': tensor([[1, 1, 1, 1, 1, 1, 1, 1, 1, 1],

        [1, 1, 1, 1, 1, 1, 1, 1, 1, 0]])}

巴特西

NLP-transformer-分词库用法

NLP-transformer-分词库用法

最新文章

热门文章