matlab 分布式调度 NTFS权限 gridview 虚拟机 phpmyadmin stream Backbonejs vue组件注册 vue router 前端项目实战 short几个字节 增删改查sql语句 python编程练习题 python开发工具 python中for循环的用法 python入门例子 java语言基础教程 java开发环境搭建 java日期函数 java集合遍历 java中的注释 找茬辅助 c语言程序100例 ps选择反向快捷键 催眠魔蛙 狮子狗皮肤 git命令 js发送http请求 证书小精灵 关闭页面 ios12录屏 php随机数函数 appdata是什么文件夹 微信预约系统 csgo帧数显示 ae添加关键帧 vivado下载 ibeacon定位 img转iso
当前位置: 首页 > 学习教程  > 编程学习

word2vector 使用方法 计算语义相似度

2021/1/9 1:56:43 文章标签: word计算

参考:http://techblog.youdao.com/?p915#LinkTarget_699word2vector是一个把词转换成词向量的一个程序,能够把词映射到K维向量空间,甚至词与词之间 的向量操作还能和语义相对应。如果换个思路,把词当做feature,那么wo…

参考:http://techblog.youdao.com/?p=915#LinkTarget_699
word2vector是一个把词转换成词向量的一个程序,能够把词映射到K维向量空间,甚至词与词之间 的向量操作还能和语义相对应。如果换个思路,把词当做feature,那么word2vec就可以把feature映射到K维向量空间,

一、什么是 word2vec? 

采用的模型有 CBOW(Continuous Bag-Of-Words,即连续的词袋模型)和 Skip-Gram 两种

word2vec 通过训练,可以把对文本内容的处理简化为 K 维向量空间中的向量 运算,而向量空间上的相似度可以用来表示文本语义上的相似度。

。因此,word2vec 输出的词向量可以被用来做很多 NLP 相关的工作,比如聚类、找同义词、词性分 析等等

二、快速入门

简单介绍cmake makefile.txt → makefile make的关系

首先编写一个与平台无关的CMakelist.txt文本文件,这个文本文件是为了制定整个编译流程,然后通过cmake path(makelist.txt所在位置,在这个目录下就是 dian .) 生成本地化的Makefile文件 ,最后make 编译文件

总的来说就是

  1. 编写cmakelist.txt(跨平台的文件来制定整个编译流程)
  2. cmake .生成本地化的makefile
  3. make 编译 word2vec 工具

然后你想运行***脚本就sh ***.sh

demo-word.sh 中的代码如下,

主要工作为:

1) 编译(make)

2) 下载训练数据 text8,如果不存在。text8 中为一些空格隔开的英文单 词,但不含标点符号,一共有 1600 多万个单词。

3) 训练,大概一个小时左右,取决于机器配置

4) 调用 distance,查找最近的词  

 

上github下载之后,打开文件夹你能看到很多.sh的脚本

这时候除了开心就是开心

因为运行脚本就ok了

首先敲入 make   (由于有makefile文件直接这样就可以了 更何况没有makelist.txt cmake 也没有用)

简单介绍cmake makefile.txt → makefile make的关系

首先编写一个与平台无关的CMakelist.txt文本文件,这个文本文件是为了制定整个编译流程,然后通过cmake path(makelist.txt所在位置,在这个目录下就是 dian .) 生成本地化的Makefile文件 ,最后make 编译文件

总的来说就是

  1. 编写cmakelist.txt(跨平台的文件来制定整个编译流程)
  2. cmake .生成本地化的makefile
  3. make

然后你想运行***脚本就sh ***.sh

比如说我想知道一个词与谁的距离最近

这个脚本里的内容首先会检查你有没有test8这个训练语料

如果没有它会自动下载,

下载之后就开始训练了

之后你可以输入三个单词

paris france berlin(分开的)

之后你会看到Germany出现在第一个位置

如果你不想运行脚本你也可以直接执行可执行的程序 比如:你可以在vectors.txt看到test8中的词转成了50维的词向量

nohup ./word2vec -train text8 -output vectors.txt -cbow 1 -size 50 -window 8 -negative 25 -hs 0 -sample 1e-4 -threads 20 -iter 1 > test.log 2>&1 &

总之一句话,认真看脚本。。。。

 

转载于:https://www.cnblogs.com/ldphoebe/p/5142295.html


本文链接: http://www.dtmao.cc/news_show_1100125.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?