CBOW with Hierarchical Softmax

CBOW 的思想是用兩側 context words 去預測中間的 center word

Skipgram with Negative Sampling

skipgram 的思想是用中心詞 center word 去預測兩側的 context words

用 pytorch 實現最簡單版本的 CBOW 與 skipgram，objective function 採用 minimize negative log likelihood with softmax

以下用 Skip-gram 為例

以 CBOW 為例

這篇是在 notion 整理的筆記大綱，只提供綱要性的說明

預備知識

• language model： NLP 語言模型

  參閱 Word2Vec (1):NLP Language Model

• huffman tree

簡介

兩種網路結構