背景

從內容召回說起

電商推薦系統多路召回中，通常會有一路召回商品叫內容召回 $\text{content I2I}$

content I2I 與其他根據用戶行為的召回不同， 最簡單的 content I2I 可以根據 A 商品 title 內容找出其他與 A 相似的 title 的商品，這給了他很強的推薦解釋性

對於商品冷啟動或者系統冷啟動來說，content I2I 可以在沒有用戶交互訊息時，就可以進行推薦，也不失為一種冷啟動方案。

在萬物皆可 Embedding 的今天，content I2I 只要把所有商品的 title 送進 word2Vec 硬 train 一發也就完事了

當然要是這麼簡單，也就不會有這篇了

Exploring and Exploiting

Exploring and Exploiting (EE) 是推薦系統中歷久不衰的議題，如何幫助用戶發現更多感興趣的 entity 以及基於已有對用戶的認知推薦他感興趣的 entity，在推薦系統的實務上都得考慮。

具象化這個問題：在推薦系統中有$\text{}$ $\text{category A, category B, category C, category D, category E}$ 等五大類的 entity 集合，今天有個新用戶 $U$來了，我們要如何

1. 知道他對哪個種類的 entity 比較感興趣？
2. 人的興趣可以分成長期興趣跟短期興趣，在電商場景中，用戶短期興趣指他有立即需求的商品，我們如何快速抓到他的意圖，調整推薦系統的響應？
3. 推薦哪些類目能帶給他意料之外的驚喜 ? 那些他沒預期，但我們推薦給他，能讓他感到滿意的 category。

Multi-armed bandit problem, K-armed bandit problem (MAP) 中的 Thompson Sampling，簡單又實用

CBOW with Hierarchical Softmax

CBOW 的思想是用兩側 context words 去預測中間的 center word

Skipgram with Negative Sampling

skipgram 的思想是用中心詞 center word 去預測兩側的 context words

用 pytorch 實現最簡單版本的 CBOW 與 skipgram，objective function 採用 minimize negative log likelihood with softmax

以下用 Skip-gram 為例

以 CBOW 為例

General Form

展開來後 $P(w_1, w_2, w_3,…,w_T) = P(w_1)P(x_2|w_1)P(w_3|w_2, w_1)…P(w_T|w_1,…w_{T-1})$

這篇是在 notion 整理的筆記大綱，只提供綱要性的說明

預備知識

• language model： NLP 語言模型

  參閱 Word2Vec (1):NLP Language Model

• huffman tree

簡介

兩種網路結構

TL;DR

• 訓練完的 GBDT 是由多棵樹組成的 function set $f_1(x), …,f_{M}(x)$
  • $F_M(x) = F_0(x) + \nu\sum^M_{i=1}f_i(x)$
• 訓練中的 GBDT，每棵新樹 $f_m(x)$ 都去擬合 target $y$ 與 $F_{m-1}(x)$ 的 $residual$，也就是 $\textit{gradient decent}$ 的方向
  • $F_m(x) = F_{m-1}(x) + \nu f_m(x)$
• GBDT classifier 常用的 loss function 為 cross entropy
• classifier $F(x)$ 輸出的是 $log(odds)$，但衡量 $residual$ 跟 $probability$ 有關，得將 $F(x)$ 通過 $\textit{sigmoid function }$ 獲得 probability
  • $p = \sigma(F(x))$

GBDT 簡介在 一步步透視 GBDT Regression Tree

直接進入正題吧