gensim中word2vec和其他一些向量的使用

直接上代码吧，word2vec

# test

from gensim.models.word2vec import Word2Vec

txt_file = open('data.txt')

sentences = []

line = txt_file.readline()

while line:

    sentence = line.split(' ')

    sentences.append(sentence)

    line = txt_file.readline()

model = Word2Vec(sentences, size=100, window=5, min_count=5, workers=1)

model.save('model_word2vec.model')

model_use = Word2Vec.load('model_word2vec.model')

xx = model_use.wv.vocab

# print(model_use.wv.vocab)

print('hel')

print(model_use.most_similar('nice'))

print(model_use.wv.similarity('nice', 'great'))

各种参数详解：

https://www.cnblogs.com/pinard/p/7278324.html

模型的一些其他使用：

https://blog.csdn.net/qq_19707521/article/details/79169826

自己在使用中：

from gensim.models import Word2Vec

from gensim.models import KeyedVectors

if file_to_load is not None:

        # 这种方法加载是加载.model文件，好处是可以再次训练

        # w2vModel = Word2Vec.load(file_to_load)

        # 这种方法是加载.txt文件，好处是model.txt文件里面可以可视化地看每一个单词对应的向量

        w2vModel = KeyedVectors.load_word2vec_format(file_to_load)

        print(w2vModel.most_similar("开心"))

    else:

        w2vModel = Word2Vec(sentences, size = embedding_size, window = window, min_count = min_count, workers = multiprocessing.cpu_count())

        if file_to_save is not None:

            # 这种方法就是保存的.model文件

            # w2vModel.save(file_to_save)

            # 这种方法就是保存的.txt文件，注意指定文件名是xxxxx.txt

            w2vModel.wv.save_word2vec_format(file_to_save, binary=False)

需要注意的一点就是.txt文件可以看到在第一行是这样的

25019 100

第一个表明word2vec里面的单词数，第二个100表示维度。

如果加载其他的方法训练出来的.txt文件，或者说自己瞎捣鼓出来的词向量.txt文件，想用gensim来加载，那么一定要注意第一行的问题。

巴特西

gensim中word2vec和其他一些向量的使用

最新文章

热门文章