自然语言处理=======python利用word2vec实现计算词语相似度【gensim实现】

举报
不良使 发表于 2022/04/16 20:08:43 2022/04/16
【摘要】 自然语言处理=======python利用word2vec实现计算词语相似度【gensim实现】

💥实验目的

🚀1、要利用已训练过的词向量模型进行词语相似度计算,实验中采用的词向量模型已事先通过训练获取的。
🚀2、于数据采用的是 2020 年特殊年份的数据,“疫情”是主要 话题。
🚀3、在计算词语之间的相似度时,采用的词语与“疫情”相关



💥实验内容

🚀1、加载已训练的词向量模型,直接调用 models.word2vec.Word2Vec.load 加载模型 wiki.model。
🚀2、计算多种形式的词语相似度
🚀3、model 计算不同方法下的词语相似度

**



💥实验步骤

**
🚀1、加载模型,获得某个词的词向量
代码:

# TODO                鸟欲高飞,必先展翅
# TODO                 向前的人 :Jhon

import warnings


warnings.filterwarnings('ignore')
from gensim import models

model = models.word2vec.Word2Vec.load('wiki.model')

# TODO  步骤2.1  todo:获取某个词对应的词向量,了解词向量
word = '疫情' #注意:词库里面要有这个词,否则会报错
vector = model.wv[word] #获取单词的词向量
print('{}的词向量为:\n{}'.format(word,vector))

#  print(vector.shape())

print(len(vector))
print("-"*66)

截图:
在这里插入图片描述
由上面的代码我们可以得出和疫情相关的100个词的相似度。我们可以发现有的相似度大于80%,但有的却是负相关。Ok,下面我们来使用wv.similarity计算两个词语的余弦相似度


🚀2、计算两个词语之间的相似度

# TODO                鸟欲高飞,必先展翅
# TODO                 向前的人 :Jhon
import warnings
warnings.filterwarnings('ignore')
from gensim import models
model = models.word2vec.Word2Vec.load('wiki.model')
# TODO  步骤2.1  todo:获取某个词对应的词向量,了解词向量
word = '疫情' #注意:词库里面要有这个词,否则会报错
vector = model.wv[word] #获取单词的词向量
print('{}的词向量为:\n{}'.format(word,vector))
print(len(vector))
print("-"*66)
# TODO  步骤2.2 todo:使用wv.similarity计算两个词语的余弦相似度
word1 = '疫情'
word2 = '新冠'
distance = model.wv.similarity(word1,word2)
print('%s与%s的相似度为:%.4f'%(word1,word2,distance))

截图:
在这里插入图片描述
可以得出疫情与新冠的相似度为:0.8392这个结论。所以当出现疫情的时候我们就会不加思考的想到新冠。


🚀3、使用wv.n_similarity计算两个list之间的相似度

代码:
import warnings
warnings.filterwarnings('ignore')
from gensim import models
model = models.word2vec.Word2Vec.load('wiki.model')
# TODO  步骤2.3  使用wv.n_similarity计算两个list之间的相似度,返回单个值
# TODO  可以考察两个句子(先进行分词)之间的相似度
words_list1 = ['电脑', '现在', '不贵']
words_list2 = ['计算机', '便宜']
list_distant=model.wv.n_similarity(words_list1,words_list2)
print("%s与%s相似度为:%.4f" % (words_list1, words_list2, list_distant))

截图:
在这里插入图片描述

由上面的model模型中的wv.n_similarity计算两个list之间的相似度,[‘电脑’, ‘现在’, ‘不贵’]和[‘计算机’, ‘便宜’]之间的相似度为0.8281,很高的相似度了,与实际相符。



🚀4、计算与一个词语最相似的前topn个词语

代码:

# TODO  步骤2.4 是同wv.most_similar 计算与某个词语最相似的词语
#  步骤2.4.1  使用要搜索的词和topn参数,计算与一个词语最相似的前topn个词语
top_n=8
word="疫情"
model_word=model.wv.most_similar(word,topn=top_n)
print('\n文本字典中与\"{}\"最相似的前{}个词语依次是'.format(word,top_n))
print([{"词语":item[0],"相似度":"%.5f"%item[1]} for item in model.wv.most_similar(word,topn=top_n)])

截图:
在这里插入图片描述

我们可以发现和疫情最相似的词语是冠状病毒。其次是病疫情,这应该是jieba分词的错误,第三个是新冠,和实际相符。


🚀5、计算其他形式的词语相似度

~👀5.1、最相似的五个词

代码:

list_1 = ['中国', '华盛顿']
list_2 = ['北京']
topn = 5
model_word =model.wv.most_similar(positive=list_1,negative=list_2,topn=topn)
print('\n与\"{}---{}+{}\"最相似的前5个词语为'.format(list_1[0],list_2[0],list_1[1],topn))
for item in model_word:
    print(item[0],'%.4f'%item[1])

截图:
在这里插入图片描述

我们可以发现还是挺准的,说明这个模型还是挺成功的。达到预期效果。

~👀5.2、wv.doesnt_match 找出列表中不属于同一类的词语**

代码:

word_list=['北京','上海','广州','纽约']
Not_need_country=model.wv.doesnt_match(word_list)
print(r'{}中不属于同一类的词语为:{}'.format(word_list,Not_need_country))

截图:
在这里插入图片描述

我们可以发现模型中的wv的doesn’t_match方法找到列表国家中不是同一类的国家。

💥实验小结

我们计算其他形式的词语相似度,主要应用 model 的 most_similar 和 doesnt_match 方法来完成它。利用维基百科训练出来的模型效果还是比较理想的,可以计算出多种形式下的词语相似度。由于已训练的词向量模型采用的是 2020 年 8 月 5 日中文维基百科数据语 料,2020 年是较为的特殊年份,“疫情”是主要话题,因此在计算“疫情” 与“新冠”之间的相似度,其值约为 0.839;与疫情最相似的 8 个词语中 均符合认知但是“电脑 现在 不贵”与“计算机 便宜”的相似度为 0.8281,按照认知, 这两句话的相似度应该能达到 0.9 以上。综上可得模型结果依赖于模型采用的语料库通用性较差,而且计算相似度的词语必须都存在模型训练前的训练数据中,不然会出现所计算相似的的词语不存在模型中之类的报错。所以,这个模型还有缺陷,但是这是固性问题,毕竟就是我们要判断两者有没有关系,也要通过大脑接受一些文本信息进行判断,只不过这个过程你们忽视而已。

有问题可以评论区打出来,或者私聊也可以的







觉得有用的可以给个三连,关注一波!!!带你了解更多的自然语言处理小知识

自然语言处理=======python利用word2vec实现计算词语相似度【gensim实现】

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。