假期学习【十一】Python切词，以及从百度爬取词典

今天主要对从CSDN爬取的标题利用jieba（结巴）进行分词，但在分词过程中发现，如大数据被分成了大/数据，云计算被分隔成了云/计算。

后来又从百度百科---》信息领域爬取了相关词语作为词典，预计今天晚上完成切词任务。

其中分割代码如下：

 import jieba

 import io

 #对句子进行分词

 def cut():

     f=open("E://luntan.txt","r+",encoding="utf-8")

     for line in f:

         seg_list=jieba.cut(line)

         #print(' '.join(seg_list))

         for i in seg_list:

             print(i)

             write(i+" ")

         #write(' '.join(seg_list))

 #分词后写入

 def write(contents):

     f=open("E://luntan_cut.txt","a+",encoding="utf-8")

     f.write(contents)

     print("写入成功！")

     f.close()

 #创建停用词

 def stopwordslist(filepath):

     stopwords = [line.strip() for line in open(filepath, 'r', encoding='utf-8').readlines()]

     return stopwords

 # 对句子进行去除停用词

 def seg_sentence(sentence):

     sentence_seged = jieba.cut(sentence.strip())

     stopwords = stopwordslist('E://stop.txt')  # 这里加载停用词的路径

     outstr = ''

     for word in sentence_seged:

         if word not in stopwords:

             if word != '\t':

                 outstr += word

                 outstr += " "

     return outstr

 #循环去除

 def cut_all():

     inputs = open('E://luntan_cut.txt', 'r', encoding='utf-8')

     outputs = open('E//luntan_stop', 'w')

     for line in inputs:

         line_seg = seg_sentence(line)  # 这里的返回值是字符串

         outputs.write(line_seg + '\n')

     outputs.close()

     inputs.close()

 if __name__=="__main__":

     cut()

分割后的文本

从百度爬取词典要把百度页面地址：https://baike.baidu.com/wikitag/taglist?tagId=76607

该页拉到最下，并存为本地mhtml格式，在浏览器打开然后右击查看源代码，源代码保存为txt格式文件，

代码如下：

 import io

 import re

 patton=re.compile(r'title=".*"')

 def read():

     f=open("E://mhtml.txt","r+",encoding="utf-8")

     for line in f:

         line=line.rstrip("\n")

         m=patton.findall(line)

         #print(line)

         if len(m)!=0:

             print(m)

             write(str(m).lstrip("['title=\"").rstrip("\"']")+"\r")

 def write(contents):

     f=open("E://xinxi.txt","a+",encoding="utf-8")

     f.write(contents)

     print("写入成功！")

     f.close()

 if __name__=="__main__":

     read()

效果：

巴特西

假期学习【十一】Python切词，以及从百度爬取词典

最新文章

热门文章