CBOW with Hierarchical Softmax

CBOW 的思想是用兩側 context words 去預測中間的 center word

Skipgram with Negative Sampling

skipgram 的思想是用中心詞 center word 去預測兩側的 context words

用 pytorch 實現最簡單版本的 CBOW 與 skipgram，objective function 採用 minimize negative log likelihood with softmax

以下用 Skip-gram 為例

以 CBOW 為例

General Form

展開來後 $P(w_1, w_2, w_3,…,w_T) = P(w_1)P(x_2|w_1)P(w_3|w_2, w_1)…P(w_T|w_1,…w_{T-1})$

這篇是在 notion 整理的筆記大綱，只提供綱要性的說明

預備知識

• language model： NLP 語言模型

  參閱 Word2Vec (1):NLP Language Model

• huffman tree

簡介

兩種網路結構