| 作者：朱勇椿 | 研究方向：跨域推薦、多任務(wù)學(xué)習(xí)如何給新加入的用戶推薦可能感興趣的物品？如何將新上架的物品推薦給潛在的用戶？這兩個(gè)問題分別是用戶冷啟動(dòng)和物品冷啟動(dòng)，統(tǒng)稱為冷啟動(dòng)推薦。冷啟動(dòng)問題是推薦系統(tǒng)中極具挑戰(zhàn)的一個(gè)問題，也是一個(gè)業(yè)界學(xué)術(shù)界同時(shí)高度關(guān)注的問題，本期為大家分享一些冷啟動(dòng)推薦算法層面的思路。冷啟動(dòng)推薦特指如何給新用戶或者新物品進(jìn)行推薦?！靶隆币簿鸵馕吨换?shù)據(jù)少，因此很難抓獲冷啟動(dòng)用戶興趣偏好，以及冷啟動(dòng)物品的特質(zhì)。如何進(jìn)行好的冷啟動(dòng)推薦，主要可以從以下幾個(gè)方面著手：高效地利用side information 高效地利用有限的交互數(shù)據(jù) Explore & exploit
除了常見的用戶和物品冷啟動(dòng)推薦以外，還有一些其他場景的冷啟動(dòng)問題，本文也會(huì)簡單進(jìn)行介紹。
一、高效地利用side information我們把除了id信息以外的別的信息統(tǒng)稱為side information，比如屬性特征，用戶性別、年齡特征，物品的類別、價(jià)格，額外的補(bǔ)充信息比如知識圖譜，輔助領(lǐng)域等等?，F(xiàn)有的推薦模型已經(jīng)將用戶、物品屬性用到模型中，但是針對冷啟動(dòng)問題，這些輔助信息還可以有更加高效的使用方法。1、高效利用屬性特征 1.1 DropoutNet[1] 
這篇文章改變了模型訓(xùn)練方式，在訓(xùn)練過程中加入dropout的機(jī)制，使得模型不過度依賴于ID embedding，而是其他內(nèi)容特征。從而使得冷啟動(dòng)推薦主要是根據(jù)內(nèi)容特征來進(jìn)行推薦，減小了不好的ID embedding的影響。
1.2 MetaEmbedding[2] 
冷啟動(dòng)推薦效果不佳，主要原因在于交互數(shù)量少，ID embedding學(xué)不好。那么為了更好地學(xué)習(xí)ID embedding，應(yīng)該給ID embedding一個(gè)不錯(cuò)的初始化值。MetaEmbedding提出使用物品（廣告）其他特征，通過一個(gè)生成器來輸出一個(gè)ID embedding的初始化值。該方法通過使用已有的物品來模擬冷啟動(dòng)的過程來學(xué)習(xí)這個(gè)生成器，對于每一個(gè)新加入的物品，都是用這個(gè)生成器預(yù)測ID embedding的初始化值，基于這個(gè)初始化值再做后續(xù)的訓(xùn)練及預(yù)測。
1.3 Meta Warm Up Framework (MWUF)[3] 
冷啟動(dòng)物品的ID embedding和非冷啟動(dòng)物品的ID embedding的分布不相同，而深度推薦模型的深度模塊更適合非冷啟動(dòng)物品（大量數(shù)據(jù)都是在非冷啟動(dòng)物品上產(chǎn)生）。換句話說冷啟動(dòng)的ID embedding和深度模型之間存在一個(gè)gap。MWUF提出通過一個(gè)元拉伸網(wǎng)絡(luò)從物品特征中預(yù)測一個(gè)拉伸函數(shù)，對冷啟動(dòng)ID embedding進(jìn)行一個(gè)特征變換，將其變換到一個(gè)更好的特征空間中。另外MWUF還使用一個(gè)元偏移網(wǎng)絡(luò)利用所有的交互過的用戶的表示，來輸出一個(gè)偏移向量，鞏固ID embedding的表示（高效利用有限的交互數(shù)據(jù)）。
2、利用知識圖譜[4] 
現(xiàn)在有很多知識圖譜可以直接使用，比如電影圖譜、書籍圖譜等等。知識圖譜蘊(yùn)含豐富的結(jié)構(gòu)性知識，雖然冷啟動(dòng)的物品只有有限的交互數(shù)據(jù)，但是通過知識圖譜可以挖掘到更多的信息，比如這個(gè)電影的演員、導(dǎo)演等等，通過這些關(guān)聯(lián)的信息，也可以推斷出哪些用戶可能對這個(gè)電影感興趣。
3、跨領(lǐng)域推薦 冷啟動(dòng)的用戶或者物品在目標(biāo)領(lǐng)域沒有交互，但是他們在另外一些領(lǐng)域可能存在一些交互數(shù)據(jù)?？珙I(lǐng)域推薦旨在使用輔助領(lǐng)域的數(shù)據(jù)來幫助目標(biāo)領(lǐng)域上的推薦，是一種有效的解決冷啟動(dòng)推薦的方法。
基于映射的方法是一種高效的解決冷啟動(dòng)推薦的方法[5]。這類方法通過學(xué)習(xí)一個(gè)從源領(lǐng)域到目標(biāo)領(lǐng)域的映射函數(shù)，將用戶或者物品在源領(lǐng)域的embedding映射到目標(biāo)領(lǐng)域，來作為目標(biāo)領(lǐng)域的初始化。但是現(xiàn)有的這類方法在冷啟動(dòng)物品或者用戶上泛化能力不足，TMCDR[6]提出了一種新的框架，來提升這類方法在冷啟動(dòng)上的泛化能力。
4、多行為推薦 一個(gè)用戶可能只有很少的購買行為，在購買這個(gè)目標(biāo)上，該用戶是冷啟動(dòng)用戶，但是該用戶可能有很多其他行為，比如點(diǎn)擊、加購物車等等。通過利用這些輔助行為也可以幫助目標(biāo)行為上用戶冷啟動(dòng)推薦[7,8]。
二、高效地利用有限的交互數(shù)據(jù)對于沒有交互數(shù)據(jù)的冷啟動(dòng)，只能嘗試使用side information來提升效果，但有的冷啟動(dòng)場景是存在少量交互數(shù)據(jù)，因此如何高效地利用這有限的交互數(shù)據(jù)變得尤為重要。1、Twitter recommendation[9] 
針對推特上的冷啟動(dòng)物品推薦，使用用戶交互過的物品，來預(yù)測一個(gè)分類器，然后使用該生成的分類器判斷用戶是否對冷啟動(dòng)的物品感興趣，這個(gè)思想和metric-based meta learning很相似。
2、MeLU[10] 
MeLU采用一種基于梯度的元學(xué)習(xí)算法MAML來學(xué)習(xí)一個(gè)深度推薦模型公共的初始化參數(shù)，然后針對每一個(gè)冷啟動(dòng)用戶，使用有限的交互數(shù)據(jù)來對這個(gè)初始化模型進(jìn)行微調(diào)，得到用戶定制化的模型進(jìn)行推薦。
3、MetaHIN[11] 
異構(gòu)圖通常也含有大量額外的信息。MetaHIN在Melu的基礎(chǔ)上引入異構(gòu)信息網(wǎng)絡(luò)，進(jìn)一步提升了冷啟動(dòng)的效果。
三、Explore & Exploit還有一大類冷啟動(dòng)方法集中在探索和利用上，主要思想是在冷啟動(dòng)的過程中，什么時(shí)候應(yīng)該去探索用戶額外的興趣偏好，什么時(shí)候應(yīng)該基于現(xiàn)有的興趣偏好進(jìn)行推薦。針對物品側(cè)也是同理，什么時(shí)候應(yīng)該嘗試進(jìn)行推廣。這一塊編者了解不多，想繼續(xù)深入了解可參考[12,13]
四、其他場景的冷啟動(dòng)問題1、冷啟動(dòng)場景 
在推薦系統(tǒng)中有時(shí)會(huì)有新的場景出現(xiàn)，比如亞馬遜電商推薦，增加一個(gè)母嬰場景，新的場景通常只有少量交互數(shù)據(jù)，如何利用其他場景幫助冷啟動(dòng)場景進(jìn)行推薦。S^2meta[14]提出了一種基于元學(xué)習(xí)的方法，思想和少樣本學(xué)習(xí)類似。
2.冷啟動(dòng)市場營銷任務(wù) 在推薦系統(tǒng)中每天會(huì)有大量新的市場營銷任務(wù)來推廣各種內(nèi)容、廣告等等。這些新的市場營銷任務(wù)通常只會(huì)給有限的種子用戶（對定向內(nèi)容感興趣的用戶，可以理解為交互數(shù)據(jù)），如何根據(jù)少量種子用戶進(jìn)行更大規(guī)模的推廣。MetaHeac[15]提出了一種基于元學(xué)習(xí)的方法，該方法同時(shí)可以建模多個(gè)市場營銷任務(wù)之間的關(guān)系。
五、總結(jié)本文主要介紹了算法層面的冷啟動(dòng)問題的解決方案。實(shí)際上解決冷啟動(dòng)問題僅僅依賴算法是不夠的，還有很多其他途徑來解決冷啟動(dòng)問題。比如產(chǎn)品可以制定一些產(chǎn)品策略，新用戶加入時(shí)填表；up主上傳視頻時(shí)勾選合適的標(biāo)簽；模型的天級更新改為實(shí)時(shí)更新等等。最后，冷啟動(dòng)推薦需要高效地利用side information、有限的交互數(shù)據(jù)、Explore & Exploit。
[1] DropoutNet: Addressing Cold Start in Recommender Systems. NeurIPS2017.
[2] Warm Up Cold-start Advertisements: Improving CTR Predictions via Learning to Learn ID Embeddings. SIGIR2019. [3] Learning to Warm Up Cold Item Embeddings for Cold-start Recommendation with Meta Scaling and Shifting Networks. SIGIR2021. [4] Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommender Systems. KDD2019. [5] Cross-Domain Recommendation: An Embedding and Mapping Approach. IJCAI2017. [6] Transfer-Meta Framework for Cross-domain Recommendation to Cold-Start Users. SIGIR2021. [7] Multi-behavior Recommendation with Graph Convolutional Networks. SIGIR2020. [8] Modeling the Sequential Dependence among Audience Multi-step Conversions with Multi-task Learning in Targeted Display Advertising. KDD2021. [9] A Meta-Learning Perspective on Cold-Start Recommendations for Items. NeurIPS2017. [10] MeLU: Meta-Learned User Preference Estimator for Cold-Start Recommendation. KDD2019. [11] Meta-learning on Heterogeneous Information Networks for Cold-start Recommendation. KDD2020. [12] A Contextual-Bandit Approach to Personalized News Article Recommendation. WWW2010. [13] Policy Gradients for Contextual Recommendations. WWW2019. [14] Sequential Scenario-Specific Meta Learner for Online Recommendation. KDD2019. [15] Learning to Expand Audience via Meta Hybrid Experts and Critics for Recommendation and Advertising. KDD2021.
|
