python 将分词结果写入txt文件

首先我运用的分词工具是结巴分词 import jieba 然后调用jieba.cut( ) 但是jieba.cut 返回的是一个generator的迭代器

他可以显示分词结果但是无法将结果写入txt 各种报错。类似于a bytes-like object is required, not 'generator'

然后我将结果进行了Str( )处理还是报类似的错误只不过变成了not ' generator'

然后经过思考我将结果作list( )处理然后对生成的list进行处理，去' [ ' ，' ] '和' ，'

def text_save(filename,data):

    file = open(filename,'a+')

    for i in range(len(data)):

        s = str(data[i]).replace('[','').replace(']','')

        s = s.replace("'",'').replace(',','')+' '

        l = clearSen(s)

        file.write(l)

   # file.close(s)

然后可以写进去了但是遇到乱码问题，写入txt中的文本乱码mmp。

在终端测试各个步骤的输出结果，发现是在对list( )处理时，应该加入utf-8操作。

def text_save(filename,data):

    file = open(filename,'a+',encoding='utf-8')

    for i in range(len(data)):

        s = str(data[i]).replace('[','').replace(']','')

        s = s.replace("'",'').replace(',','')+' '

        l = clearSen(s)

        file.write(l)

   # file.close(s)

#添加句子功能

def usr_add_sentence():

    correct_sentence = entry_add.get()

    correct_sentences = list(jieba.cut(correct_sentence))

   # clearSen(correct_sentences)

    print(correct_sentences)

    text_save('./data/kenlm/2014_words.txt',correct_sentences)

    text_save('./data/kenlm/people2014_words.txt',correct_sentences)

over~

巴特西

python 将分词结果写入txt文件

最新文章

热门文章