spaCy 第一篇:核心类型
spaCy 是一个号称工业级的自然语言处理工具包,最核心的数据结构是Doc和Vocab。Doc对象包含Token的序列和Token的注释(Annotation),Vocab对象是spaCy使用的词汇表(vocabulary),用于存储语言中共享的数据,spaCy通过集中存储字符串,单词向量和词汇属性(lexical attribute)等,避免存储数据的多个副本。
spaCy模块有4个非常重要的类:
- Doc:访问语言注释的容器
- Span:Doc对象的一个切片
- Token:单独的Token,例如,单词,符号,空格等
- Vocab:存储词汇表和语言共享的数据
一,Vocab类
Vocab对象用于存储词汇表和语言共享的数据,可以在不同的Doc对象之间共享数据,词汇表使用Lexeme对象和StringStore对象来表示。
>>> import spacy
>>> nlp=spacy.load("en_core_web_lg")
>>> apple=nlp.vocab[u'apple']
apple是一个Lexeme对象,vocab还包含一个strings属性,用于表示把单词映射到64位的哈希值,这使得每一个单词在spaCy中只存储一份。
1,Lexeme类型
Lexeme对象是词汇表Vocab中的一个词条(entry),可以通过该similarity()函数计算两个词条的相似性:
apple = nlp.vocab[u"apple"]
orange = nlp.vocab[u"orange"]
apple_orange = apple.similarity(orange)
Lexeme对象的属性,通常属性是成对存在的,不带下划线的是属性的ID形式,带下划线的是属性的文本形式:
- text:文本内容(Verbatim text content)
- orth、orth_:文本ID和文本内容
- lower、lower_:文本的小写
- is_alpha、is_ascii、is_digit、is_lower、is_upper、is_title、is_punct、is_space:指示文本的类型,返回值是boolean类型
- like_url、like_num、like_email:指示文本是否是url、数字和email,返回值是boolean类型
- sentiment:标量值,用于指示词汇的积极性
- cluster:布朗Cluster ID
2,StringStore类型
StringStore类是一个string-to-int的对象,通过64位的哈希值来查找词汇,或者把词汇映射到64位的哈希值:
>>> from spacy.strings import StringStore
>>> stringstore = StringStore([u"apple", u"orange"])
>>> apple_hash = stringstore[u"apple"]
>>> apple_hash
8566208034543834098
Vocab的strings属性是一个StringStore对象,用于存储共享的词汇数据:
apple_id=nlp.vocab.strings[u'apple']
>>> apple_id
8566208034543834098
3,Vocab类
在初始化Vocab类时,传递参数strings是list或者StringStore对象,得到Vocab对象:
from spacy.vocab import Vocab
vocab = Vocab(strings=[u"apple", u"orange"])
>>> vocab.strings[u"apple"]
8566208034543834098
二,Token类
Token是一个单词、标点符号、空格等,在自然语言处理中,把一个单词,一个标点符号,一个空格等叫做一个token。
>>> import spacy
>>> nlp=spacy.load("en_core_web_sm")
>>> doc=nlp("I like apples and oranges")
>>> token_apple =doc[2]
>>> token_orange=doc[4]
1,Token对象的函数
计算不同token之间的语义相似性
token_apple.similarity(token_orange)
对一段文本,获得相邻的token,默认情况下,得到的是下一个相邻的token:
>>> token_apple.nbor()
and
从一段文本种,获得相连的token:
token_apple.conjuncts
(oranges,)
2,Token对象的属性
Token对象,除了具有Lexeme对象属性之外,还具有Token对象特有的属性:
- doc:父doc
- sent:token所在的Span对象
- text:文本
- orth、orth_:文本ID和文本
- i:token在父doc中的索引
- ent_type、ent_type_:命名实体类型
- lemma、lemma_:token的基本形式(base form)
- norm、norm_:token的标准化形式
- pos、pos_:token的词性(Coarse-grained POS)
- tag、tag_:token的词性(Fine-grained POS)
- lower、lower_:token的小写形式
- is_alpha、is_ascii、is_digit、is_lower、is_upper、is_title、is_punct、is_space
- like_url、like_num、like_email
- sentiment
三,Doc类
对一个文本数据进行分词之后,Doc对象是token的序列,Span对象是Doc对象的一个切片:
>>> import spacy
>>> nlp=spacy.load("en_core_web_sm")
>>> doc=nlp("I like apples and oranges")
>>> span=doc[0:3]
1,获得文本的命名实体
doc.ents
2,获得文本的名词块
doc.noun_chunks
3,获得文本的句子
doc.sents
4,查看doc的文本
doc.text
四,Span类
Span对象是Doc对象的一个切片,Span对象的属性:
- start:span的第一个token在doc中的索引
- end:span的最后一个token在doc中的索引
- text:span的文本
- orth、orth_:span的文本
- lemma_:span的lemma
六,spaCy的架构
Doc对象是由Tokenizer构造,然后由管道(pipeline)的组件进行适当的修改。 Language对象协调这些组件,它接受原始文本并通过管道发送,返回带注释(Annotation)的文档。 文本注释(Text Annotation)被设计为单一来源:Doc对象拥有数据,Span是Doc对象的视图。
参考文档:
最新文章
- ASP.NET Core 介绍和项目解读
- 定制个性化码表技术 ibus
- equals(==),toString
- 1 初识Orchard
- nginx配置PATH_INFO模式
- 2014 Super Training #4 D Paint the Grid Again --模拟
- 关于协程的学习 &; 线程栈默认10M
- Redis 利用锁机制来防止缓存过期产生的惊群现象-转载自 http://my.oschina.net/u/1156660/blog/360552
- C++容器类概述
- IntelliJ IDEA显示行号方法
- [unroll(num)] for(int i;i<;num;i++)
- Java 操作MySql数据库
- Notepad++中调用cl.exe编译器(Windows)
- LR 取到怎么样才能得到参数列表中的每一个值
- 关于一个WCF调用的服务端和客户端的配置信息集合
- BZOJ 3893 Cow Jog
- 关于Latch
- J.U.C FutureTask之源码解析
- Apache Flink:特性、概念、组件栈、架构及原理分析
- information_schema.COLUMNS