很多人以为 word2vec 指的是一个算法或模型,这也是一种谬误。

因此通过 Word2Vec 技术 输出的词向量可以被用来做很多NLP相关的工作,比如聚类、找同义词、词性分析等等.

cbow适用于小规模,或者主题比较散的语料,毕竟他的向量产生只跟临近的字有关系,更远的语料并没有被采用。

而相反的skip-gram可以处理基于相同语义,义群的一大批语料。

连续词袋模型(CBOW)常用于NLP深度学习。

这是一种模式,它试图根据目标词 之前 和 之后 几个单词的背景来预测单词(CBOW不是顺序)。

CBOW 模型: 能够根据输入周围n-1个词来预测出这个词本身.

也就是说,CBOW模型的输入是某个词A周围的n个单词的词向量之和,输出是词A本身的词向量.

skip-gram与CBOW相比,只有细微的不同。skip-gram的输入是当前词的词向量,而输出是周围词的词向量。

Skip-gram 模型: 能够根据词本身来预测周围有哪些词.

也就是说,Skip-gram模型的输入是词A本身,输出是词A周围的n个单词的词向量.