寫在最前面:本文內(nèi)容主要來自于書籍《推薦系統(tǒng)實(shí)踐》和《推薦系統(tǒng)與深度學(xué)習(xí)》。
推薦系統(tǒng)是目前互聯(lián)網(wǎng)世界最常見的智能產(chǎn)品形式。從電子商務(wù)、音樂視頻網(wǎng)站,到作為互聯(lián)網(wǎng)經(jīng)濟(jì)支柱的在線廣告和新穎的在線應(yīng)用推薦,到處都有推薦系統(tǒng)的身影。推薦算法是推薦系統(tǒng)的核心,其本質(zhì)是通過一定的方式將用戶和物品聯(lián)系起來,而不同的推薦系統(tǒng)利用了不同的方式。
推薦系統(tǒng)的主要功能是以個(gè)性化的方式幫助用戶從極大的搜索空間中快速找到感興趣的對象。因此,目前所用的推薦系統(tǒng)多為個(gè)性化推薦系統(tǒng)。個(gè)性化推薦的成功應(yīng)用需要兩個(gè)條件:
在推薦系統(tǒng)的眾多算法中,基于協(xié)同的推薦和基于內(nèi)容的推薦在實(shí)踐中得到了最廣泛的應(yīng)用。本文也將從這兩種算法開始,結(jié)合時(shí)間、地點(diǎn)上下文環(huán)境以及社交環(huán)境,對常見的推薦算法做一個(gè)簡單的介紹。
基于內(nèi)容的算法的本質(zhì)是對物品內(nèi)容進(jìn)行分析,從中提取特征,然后基于用戶對何種特征感興趣來推薦含有用戶感興趣特征的物品。因此,基于內(nèi)容的推薦算法有兩個(gè)最基本的要求:
下面我們以一個(gè)簡單的電影推薦來介紹基于內(nèi)容的推薦算法。
現(xiàn)在有兩個(gè)用戶A、B和他們看過的電影以及打分情況如下:
其中問好(?)表示用戶未看過。用戶A對《銀河護(hù)衛(wèi)隊(duì) 》《變形金剛》《星際迷航》三部科幻電影都有評分,平均分為 4 .7 分 ( (5+4+5 ) / 3=4.7 );對《三生三世》《美人魚》《北京遇上西雅圖》三部愛情電影評分平均分為 2.3 分 ( ( 3十2+2 ) /3=2.3 )?,F(xiàn)在需要給A推薦電影,很明顯A更傾向于科幻電影,因此推薦系統(tǒng)會給A推薦獨(dú)立日。而對于用戶B,通過簡單的計(jì)算我們可以知道更喜歡愛情電影,因此給其推薦《三生三世》。當(dāng)然,在實(shí)際推薦系統(tǒng)中,預(yù)測打分比這更加復(fù)雜些,但是其原理是一樣的。
現(xiàn)在,我們可以將基于內(nèi)容的推薦歸納為以下四個(gè)步驟:
通過上面四步就能快速構(gòu)建一個(gè)簡單的推薦系統(tǒng)?;趦?nèi)容的推薦系統(tǒng)通常簡單有效,可解釋性好,沒有物品冷啟動問題遲賣鍵。但他也有兩個(gè)明顯的缺點(diǎn):
最后,順便提一下特征提取方法:對于某些特征較為明確的物品,一般可以直接對其打標(biāo)簽,如電影類別。而對于文本類別的特征,則主要是其主題情感等,則些可以通過tf-idf或LDA等方法得到。
基于協(xié)同的算法在很多地方碼巧也叫基于鄰域的算法,主要可分為兩種:基于用戶的協(xié)同算法和基于物品的協(xié)同算法。
啤酒和尿布的故事在數(shù)據(jù)挖掘領(lǐng)域十分有名,該故事講述了美國沃爾瑪超市統(tǒng)計(jì)發(fā)現(xiàn)啤酒和尿布一起被購買的次數(shù)非常多,因此將啤酒和尿布擺在了一起,最后啤酒和尿布的銷量雙雙增加了。這便是一個(gè)典型的物品協(xié)同過濾的例子。
基于物品的協(xié)同過濾指基于物品的行為相似度(如啤酒尿布被同時(shí)購買)來進(jìn)行物品推薦。該算法認(rèn)為,物品A和物品B具有很大相似度是因?yàn)橄矚g物品A的用戶大都也喜歡物品B。
基于物品的協(xié)同過濾算法主要分為兩步:
基于物品的協(xié)同過濾算法中計(jì)算物品相似度的方法有以下幾種:
(1)基于共同喜歡物品的用戶列表計(jì)算。
此外,John S. Breese再其論文中還提及了IUF(Inverse User Frequence,逆用戶活躍度)的參數(shù),其認(rèn)為活躍用戶對物品相似度的貢獻(xiàn)應(yīng)該小于配野不活躍的用戶,應(yīng)該增加IUF參數(shù)來修正物品相似度的公式:
上面的公式只是對活躍用戶做了一種軟性的懲罰, 但對于很多過于活躍的用戶, 比如某位買了當(dāng)當(dāng)網(wǎng)80%圖書的用戶, 為了避免相似度矩陣過于稠密, 我們在實(shí)際計(jì)算中一般直接忽略他的興趣列表, 而不將其納入到相似度計(jì)算的數(shù)據(jù)集中。
(2)基于余弦相似度計(jì)算。
(3)熱門物品的懲罰。
從上面(1)的相似度計(jì)算公式中,我們可以發(fā)現(xiàn)當(dāng)物品 i 被更多人購買時(shí),分子中的 N(i) ∩ N(j) 和分母中的 N(i) 都會增長。對于熱門物品,分子 N(i) ∩ N(j) 的增長速度往往高于 N(i),這就會使得物品 i 和很多其他的物品相似度都偏高,這就是 ItemCF 中的物品熱門問題。推薦結(jié)果過于熱門,會使得個(gè)性化感知下降。以歌曲相似度為例,大部分用戶都會收藏《小蘋果》這些熱門歌曲,從而導(dǎo)致《小蘋果》出現(xiàn)在很多的相似歌曲中。為了解決這個(gè)問題,我們對于物品 i 進(jìn)行懲罰,例如下式, 當(dāng)α∈(0, 0.5) 時(shí),N(i) 越小,懲罰得越厲害,從而使熱門物品相關(guān)性分?jǐn)?shù)下降( 博主注:這部分未充分理解 ):
此外,Kary pis在研究中發(fā)現(xiàn)如果將ItemCF的相似度矩陣按最大值歸一化, 可以提高推薦的準(zhǔn)確率。 其研究表明, 如果已經(jīng)得到了物品相似度矩陣w, 那么可以用如下公式得到歸一化之后的相似度矩陣w':
歸一化的好處不僅僅在于增加推薦的準(zhǔn)確度,它還可以提高推薦的覆蓋率和多樣性。一般來說,物品總是屬于很多不同的類,每一類中的物品聯(lián)系比較緊密。假設(shè)物品分為兩類——A和B, A類物品之間的相似度為0.5, B類物品之間的相似度為0.6, 而A類物品和B類物品之間的相似度是0.2。 在這種情況下, 如果一個(gè)用戶喜歡了5個(gè)A類物品和5個(gè)B類物品, 用ItemCF給他進(jìn)行推薦, 推薦的就都是B類物品, 因?yàn)锽類物品之間的相似度大。 但如果歸一化之后, A類物品之間的相似度變成了1, B類物品之間的相似度也是1, 那么這種情況下, 用戶如果喜歡5個(gè)A類物品和5個(gè)B類物品, 那么他的推薦列表中A類物品和B類物品的數(shù)目也應(yīng)該是大致相等的。 從這個(gè)例子可以看出, 相似度的歸一化可以提高推薦的多樣性。
那么,對于兩個(gè)不同的類,什么樣的類其類內(nèi)物品之間的相似度高,什么樣的類其類內(nèi)物品相似度低呢?一般來說,熱門的類其類內(nèi)物品相似度一般比較大。如果不進(jìn)行歸一化,就會推薦比較熱門的類里面的物品,而這些物品也是比較熱門的。因此,推薦的覆蓋率就比較低。相反,如果進(jìn)行相似度的歸一化,則可以提高推薦系統(tǒng)的覆蓋率。
最后,利用物品相似度矩陣和用戶打過分的物品記錄就可以對一個(gè)用戶進(jìn)行推薦評分:
基于用戶的協(xié)同算法與基于物品的協(xié)同算法原理類似,只不過基于物品的協(xié)同是用戶U購買了A物品,會計(jì)算經(jīng)常有哪些物品與A一起購買(也即相似度),然后推薦給用戶U這些與A相似的物品。而基于用戶的協(xié)同則是先計(jì)算用戶的相似性(通過計(jì)算這些用戶購買過的相同的物品),然后將這些相似用戶購買過的物品推薦給用戶U。
基于用戶的協(xié)同過濾算法主要包括兩個(gè)步驟:
步驟(1)的關(guān)鍵是計(jì)算用戶的興趣相似度,主要是利用用戶的行為相似度計(jì)算用戶相似度。給定用戶 u 和 v,N(u) 表示用戶u曾經(jīng)有過正反饋(譬如購買)的物品集合,N(v) 表示用戶 v 曾經(jīng)有過正反饋的物品集合。那么我們可以通過如下的 Jaccard 公式簡單的計(jì)算 u 和 v 的相似度:
或通過余弦相似度:
得到用戶之間的相似度之后,UserCF算法會給用戶推薦和他興趣最相似的K個(gè)用戶喜歡的物品。如下的公式度量了UserCF算法中用戶 u 對物品 i 的感興趣程度:
首先回顧一下UserCF算法和ItemCF算法的推薦原理:UserCF給用戶推薦那些和他有共同興趣愛好的用戶喜歡的物品, 而ItemCF給用戶推薦那些和他之前喜歡的物品具有類似行為的物品。
(1)從推薦場景考慮
首先從場景來看,如果用戶數(shù)量遠(yuǎn)遠(yuǎn)超過物品數(shù)量,如購物網(wǎng)站淘寶,那么可以考慮ItemCF,因?yàn)榫S護(hù)一個(gè)非常大的用戶關(guān)系網(wǎng)是不容易的。其次,物品數(shù)據(jù)一般較為穩(wěn)定,因此物品相似度矩陣不必頻繁更新,維護(hù)代價(jià)較小。
UserCF的推薦結(jié)果著重于反應(yīng)和用戶興趣相似的小群體的熱點(diǎn),而ItemCF的推薦結(jié)果著重于維系用戶的歷史興趣。換句話說,UserCF的推薦更社會化,反應(yīng)了用戶所在小型興趣群體中物品的熱門程度,而ItemCF的推薦更加個(gè)性化,反應(yīng)了用戶自己的個(gè)性傳承。因此UserCF更適合新聞、微博或微內(nèi)容的推薦,而且新聞內(nèi)容更新頻率非常高,想要維護(hù)這樣一個(gè)非常大而且更新頻繁的表無疑是非常難的。
在新聞?lì)惥W(wǎng)站中,用戶的興趣愛好往往比較粗粒度,很少會有用戶說只看某個(gè)話題的新聞,而且往往某個(gè)話題也不是每天都會有新聞。 個(gè)性化新聞推薦更強(qiáng)調(diào)新聞熱點(diǎn),熱門程度和時(shí)效性是個(gè)性化新聞推薦的重點(diǎn),個(gè)性化是補(bǔ)充,所以 UserCF 給用戶推薦和他有相同興趣愛好的人關(guān)注的新聞,這樣在保證了熱點(diǎn)和時(shí)效性的同時(shí),兼顧了個(gè)性化。
(2)從系統(tǒng)多樣性(也稱覆蓋率,指一個(gè)推薦系統(tǒng)能否給用戶提供多種選擇)方面來看,ItemCF的多樣性要遠(yuǎn)遠(yuǎn)好于UserCF,因?yàn)閁serCF更傾向于推薦熱門物品。而ItemCF具有較好的新穎性,能夠發(fā)現(xiàn)長尾物品。所以大多數(shù)情況下,ItemCF在精度上較小于UserCF,但其在覆蓋率和新穎性上面卻比UserCF要好很多。
在介紹本節(jié)基于矩陣分解的隱語義模型之前,讓我們先來回顧一下傳統(tǒng)的矩陣分解方法SVD在推薦系統(tǒng)的應(yīng)用吧。
基于SVD矩陣分解在推薦中的應(yīng)用可分為如下幾步:
SVD在計(jì)算前會先把評分矩陣 A 缺失值補(bǔ)全,補(bǔ)全之后稀疏矩陣 A 表示成稠密矩陣,然后將分解成 A' = U∑V T 。但是這種方法有兩個(gè)缺點(diǎn):(1)補(bǔ)成稠密矩陣后需要耗費(fèi)巨大的儲存空間,對這樣巨大的稠密矩陣進(jìn)行儲存是不現(xiàn)實(shí)的;(2)SVD的計(jì)算復(fù)雜度很高,對這樣大的稠密矩陣中進(jìn)行計(jì)算式不現(xiàn)實(shí)的。因此,隱語義模型就被發(fā)明了出來。
更詳細(xì)的SVD在推薦系統(tǒng)的應(yīng)用可參考 奇異值分解SVD簡介及其在推薦系統(tǒng)中的簡單應(yīng)用 。
隱語義模型(Latent Factor Model)最早在文本挖掘領(lǐng)域被提出,用于找到文本的隱含語義。相關(guān)的算法有LSI,pLSA,LDA和Topic Model。本節(jié)將對隱語義模型在Top-N推薦中的應(yīng)用進(jìn)行詳細(xì)介紹,并通過實(shí)際的數(shù)據(jù)評測該模型。
隱語義模型的核心思想是通過隱含特征聯(lián)系用戶興趣和物品。讓我們通過一個(gè)例子來理解一下這個(gè)模型。
現(xiàn)有兩個(gè)用戶,用戶A的興趣涉及偵探小說、科普圖書以及一些計(jì)算機(jī)技術(shù)書,而用戶B的興趣比較集中在數(shù)學(xué)和機(jī)器學(xué)習(xí)方面。那么如何給A和B推薦圖書呢?
我們可以對書和物品的興趣進(jìn)行分類。對于某個(gè)用戶,首先得到他的興趣分類,然后從分類中挑選他可能喜歡的物品。簡言之,這個(gè)基于興趣分類的方法大概需要解決3個(gè)問題:
對于第一個(gè)問題的簡單解決方案是找相關(guān)專業(yè)人員給物品分類。以圖書為例,每本書出版時(shí),編輯都會給出一個(gè)分類。但是,即使有很系統(tǒng)的分類體系,編輯給出的分類仍然具有以下缺點(diǎn):(1)編輯的意見不能代表各種用戶的意見;(2)編輯很難控制分類的細(xì)粒度;(3)編輯很難給一個(gè)物品多個(gè)分類;(4)編輯很難給一個(gè)物品多個(gè)分類;(5)編輯很難給出多個(gè)維度的分類;(6)編輯很難決定一個(gè)物品在某一個(gè)類別中的權(quán)重。
為了解決上述問題,研究員提出可以從數(shù)據(jù)出發(fā),自動找到那些分類,然后進(jìn)行個(gè)性化推薦。隱語義模型由于采用基于用戶行為統(tǒng)計(jì)的自動聚類,較好地解決了上面提出的5個(gè)問題。
LFM將矩陣分解成2個(gè)而不是3個(gè):
推薦系統(tǒng)中用戶和物品的交互數(shù)據(jù)分為顯性反饋和隱性反饋數(shù)據(jù)。隱式模型中多了一個(gè)置信參數(shù),具體涉及到ALS(交替最小二乘法,Alternating Least Squares)中對于隱式反饋模型的處理方式——有的文章稱為“加權(quán)的正則化矩陣分解”:
一個(gè)小細(xì)節(jié):在隱性反饋數(shù)據(jù)集中,只有正樣本(正反饋)沒有負(fù)反饋(負(fù)樣本),因此如何給用戶生成負(fù)樣本來進(jìn)行訓(xùn)練是一個(gè)重要的問題。Rong Pan在其文章中對此進(jìn)行了探討,對比了如下幾種方法:
用戶行為很容易用二分圖表示,因此很多圖算法都可以應(yīng)用到推薦系統(tǒng)中?;趫D的模型(graph-based model)是推薦系統(tǒng)中的重要內(nèi)容。很多研究人員把基于領(lǐng)域的模型也稱為基于圖的模型,因?yàn)榭梢园鸦陬I(lǐng)域的模型看作基于圖的模型的簡單形式。
在研究基于圖的模型之前,需要將用戶行為數(shù)據(jù)表示成圖的形式。本節(jié)的數(shù)據(jù)是由一系列用戶物品二元組 (u, i) 組成的,其中 u 表示用戶對物品 i 產(chǎn)生過行為。
令 G(V, E) 表示用戶物品二分圖,其中 V=V U UV I 由用戶頂點(diǎn) V U 和物品節(jié)點(diǎn) V I 組成。對于數(shù)據(jù)集中每一個(gè)二元組 (u, i) ,圖中都有一套對應(yīng)的邊 e(v u , v i ),其中 v u ∈V U 是用戶對應(yīng)的頂點(diǎn),v i ∈V I 是物品i對應(yīng)的頂點(diǎn)。如下圖是一個(gè)簡單的物品二分圖,其中圓形節(jié)點(diǎn)代表用戶,方形節(jié)點(diǎn)代表物品,用戶物品的直接連線代表用戶對物品產(chǎn)生過行為。比如下圖中的用戶A對物品a、b、d產(chǎn)生過行為。
度量圖中兩個(gè)頂點(diǎn)之間相關(guān)性的方法很多,但一般來說圖中頂點(diǎn)的相關(guān)性主要取決于下面3個(gè)因素:
而相關(guān)性高的一對頂點(diǎn)一般具有如下特征:
舉個(gè)例子,如下圖,用戶A和物品c、e沒有邊直連,但A可通過一條長度為3的路徑到達(dá)c,而Ae之間有兩條長度為3的路徑。那么A和e的相關(guān)性要高于頂點(diǎn)A和c,因而物品e在用戶A的推薦列表中應(yīng)該排在物品c之前,因?yàn)锳e之間有兩條路徑。其中,(A,b,C,e)路徑經(jīng)過的頂點(diǎn)的出度為(3,2,2,2),而 (A,d,D,e) 路徑經(jīng)過了一個(gè)出度比較大的頂點(diǎn)D,所以 (A,d,D,e) 對頂點(diǎn)A與e之間相關(guān)性的貢獻(xiàn)要小于(A,b,C,e)。
基于上面3個(gè)主要因素,研究人員設(shè)計(jì)了很多計(jì)算圖中頂點(diǎn)相關(guān)性的方法,本節(jié)將介紹一種基于隨機(jī)游走的PersonalRank算法。
假設(shè)要給用戶u進(jìn)行個(gè)性化推薦,可以從用戶u對應(yīng)的節(jié)點(diǎn) v u 開始在用戶物品二分圖上進(jìn)行隨機(jī)游走。游走到任一節(jié)點(diǎn)時(shí),首先按照概率α決定是繼續(xù)游走還是停止這次游走并從 v u 節(jié)點(diǎn)重新開始游走。若決定繼續(xù)游走,則從當(dāng)前節(jié)點(diǎn)指向的節(jié)點(diǎn)中按照均勻分布隨機(jī)選擇一個(gè)節(jié)點(diǎn)作為游走下次經(jīng)過的節(jié)點(diǎn)。這樣,經(jīng)過很多次隨機(jī)游走后,每個(gè)物品被訪問到的概率會收斂到一個(gè)數(shù)。最終的推薦列表中物品的權(quán)重就是物品節(jié)點(diǎn)的訪問概率。
上述算法可以表示成下面的公式:
雖然通過隨機(jī)游走可以很好地在理論上解釋PersonalRank算法,但是該算法在時(shí)間復(fù)雜度上有明顯的缺點(diǎn)。因?yàn)樵跒槊總€(gè)用戶進(jìn)行推薦時(shí),都需要在整個(gè)用戶物品二分圖上進(jìn)行迭代,知道所有頂點(diǎn)的PR值都收斂。這一過程的時(shí)間復(fù)雜度非常高,不僅無法在線進(jìn)行實(shí)時(shí)推薦,離線計(jì)算也是非常耗時(shí)的。
有兩種方法可以解決上面PersonalRank時(shí)間復(fù)雜度高的問題:
(1)減少迭代次數(shù),在收斂之前停止迭代。但是這樣會影響最終的精度。
(2)從矩陣論出發(fā),重新涉及算法。另M為用戶物品二分圖的轉(zhuǎn)移概率矩陣,即:
網(wǎng)絡(luò)社交是當(dāng)今社會非常重要甚至可以說是必不可少的社交方式,用戶在互聯(lián)網(wǎng)上的時(shí)間有相當(dāng)大的一部分都用在了社交網(wǎng)絡(luò)上。
當(dāng)前國外最著名的社交網(wǎng)站是Facebook和Twitter,國內(nèi)的代表則是微信/QQ和微博。這些社交網(wǎng)站可以分為兩類:
需要指出的是,任何一個(gè)社交網(wǎng)站都不是單純的社交圖譜或興趣圖譜。如QQ上有些興趣愛好群可以認(rèn)識不同的陌生人,而微博中的好友也可以是現(xiàn)實(shí)中認(rèn)識的。
社交網(wǎng)絡(luò)定義了用戶之間的聯(lián)系,因此可以用圖定義社交網(wǎng)絡(luò)。我們用圖 G(V,E,w) 定義一個(gè)社交網(wǎng)絡(luò),其中V是頂點(diǎn)集合,每個(gè)頂點(diǎn)代表一個(gè)用戶,E是邊集合,如果用戶va和vb有社交網(wǎng)絡(luò)關(guān)系,那么就有一條邊 e(v a , v b ) 連接這兩個(gè)用戶,而 w(v a , v b )定義了邊的權(quán)重。一般來說,有三種不同的社交網(wǎng)絡(luò)數(shù)據(jù):
和一般購物網(wǎng)站中的用戶活躍度分布和物品流行度分布類似,社交網(wǎng)絡(luò)中用戶的入度(in degree,表示有多少人關(guān)注)和出度(out degree,表示關(guān)注多少人)的分布也是滿足長尾分布的。即大部分人關(guān)注的人都很少,被關(guān)注很多的人也很少。
給定一個(gè)社交網(wǎng)絡(luò)和一份用戶行為數(shù)據(jù)集。其中社交網(wǎng)絡(luò)定義了用戶之間的好友關(guān)系,而用戶行為數(shù)據(jù)集定義了不同用戶的歷史行為和興趣數(shù)據(jù)。那么最簡單的算法就是給用戶推薦好友喜歡的物品集合。即用戶u對物品i的興趣 p ui 可以通過如下公式計(jì)算。
用戶u和用戶v的熟悉程度描述了用戶u和用戶在現(xiàn)實(shí)社會中的熟悉程度。一般來說,用戶更加相信自己熟悉的好友的推薦,因此我們需要考慮用戶之間的熟悉度。下面介紹3中衡量用戶熟悉程度的方法。
(1)對于用戶u和用戶v,可以使用共同好友比例來計(jì)算他們的相似度:
上式中 out(u) 可以理解為用戶u關(guān)注的用戶合集,因此 out(u) ∩ out(v) 定義了用戶u、v共同關(guān)注的用戶集合。
(2)使用被關(guān)注的用戶數(shù)量來計(jì)算用戶之間的相似度,只要將公式中的 out(u) 修改為 in(u):
in(u) 是指關(guān)注用戶u的集合。在無向社交網(wǎng)絡(luò)中,in(u)和out(u)是相同的,而在微博這種有向社交網(wǎng)絡(luò)中,這兩個(gè)集合的含義就不痛了。一般來說,本方法適合用來計(jì)算微博大V之間的相似度,因?yàn)榇髒往往被關(guān)注的人數(shù)比較多;而方法(1)適用于計(jì)算普通用戶之間的相似度,因?yàn)槠胀ㄓ脩敉P(guān)注行為比較豐富。
(3)除此之外,還可以定義第三種有向的相似度:這個(gè)相似度的含義是用戶u關(guān)注的用戶中,有多大比例也關(guān)注了用戶v:
這個(gè)相似度有一個(gè)缺點(diǎn),就是在該相似度下所有人都和大v有很大的相似度,這是因?yàn)楣街械姆帜覆]有考慮 in(v) 的大小,所以可以把 in(v) 加入到上面公式的分母,來降低大v與其他用戶的相似度:
上面介紹了3種計(jì)算用戶之間相似度(或稱熟悉度)的計(jì)算方法。除了熟悉程度,還需要考慮用戶之間的興趣相似度。我們和父母很熟悉,但很多時(shí)候我們和父母的興趣確不相似,因此也不會喜歡他們喜歡的物品。因此,在度量用戶相似度時(shí),還需要考慮興趣相似度,而興趣相似度可以通過和UserCF類似的方法度量,即如果兩個(gè)用戶喜歡的物品集合重合度很高,兩個(gè)用戶的興趣相似度很高。
最后,我們可以通過加權(quán)的形式將兩種權(quán)重合并起來,便得到了各個(gè)好有用戶的權(quán)重了。
有了權(quán)重,我們便可以針對用戶u挑選k個(gè)最相似的用戶,把他們購買過的物品中,u未購買過的物品推薦給用戶u即可。打分公式如下:
其中 w' 是合并后的權(quán)重,score是用戶v對物品的打分。
node2vec的整體思路分為兩個(gè)步驟:第一個(gè)步驟是隨機(jī)游走(random walk),即通過一定規(guī)則隨機(jī)抽取一些點(diǎn)的序列;第二個(gè)步驟是將點(diǎn)的序列輸入至word2vec模型從而得到每個(gè)點(diǎn)的embedding向量。
隨機(jī)游走在前面基于圖的模型中已經(jīng)介紹過,其主要分為兩步:(1)選擇起始節(jié)點(diǎn);(2)選擇下一節(jié)點(diǎn)。起始節(jié)點(diǎn)選擇有兩種方法:按一定規(guī)則抽取一定量的節(jié)點(diǎn)或者以圖中所有節(jié)點(diǎn)作為起始節(jié)點(diǎn)。一般來說會選擇后一種方法以保證所有節(jié)點(diǎn)都會被選取到。
在選擇下一節(jié)點(diǎn)方法上,最簡單的是按邊的權(quán)重來選擇,但在實(shí)際應(yīng)用中需要通過廣度優(yōu)先還是深度優(yōu)先的方法來控制游走范圍。一般來說,深度優(yōu)先發(fā)現(xiàn)能力更強(qiáng),廣度優(yōu)先更能使社區(qū)內(nèi)(較相似)的節(jié)點(diǎn)出現(xiàn)在一個(gè)路徑里。
斯坦福大學(xué)Jure Leskovec教授給出了一種可以控制廣度優(yōu)先或者深度優(yōu)先的方法。
以上圖為例,假設(shè)第一步是從t隨機(jī)游走到v,這時(shí)候我們要確定下一步的鄰接節(jié)點(diǎn)。本例中,作者定義了p和q兩個(gè)參數(shù)變量來調(diào)節(jié)游走,首先計(jì)算其鄰居節(jié)點(diǎn)與上一節(jié)點(diǎn)t的距離d,根據(jù)下面的公式得到α:
一般從每個(gè)節(jié)點(diǎn)開始游走5~10次,步長則根據(jù)點(diǎn)的數(shù)量N游走根號N步。如此便可通過random walk生成點(diǎn)的序列樣本。
得到序列之后,便可以通過word2vec的方式訓(xùn)練得到各個(gè)用戶的特征向量,通過余弦相似度便可以計(jì)算各個(gè)用戶的相似度了。有了相似度,便可以使用基于用戶的推薦算法了。
推薦系統(tǒng)需要根據(jù)用戶的歷史行為和興趣預(yù)測用戶未來的行為和興趣,因此大量的用戶行為數(shù)據(jù)就成為推薦系統(tǒng)的重要組成部分和先決條件。如何在沒有大量用戶數(shù)據(jù)的情況下設(shè)計(jì)個(gè)性化推薦系統(tǒng)并且讓用戶對推薦結(jié)果滿意從而愿意使用推薦系統(tǒng),就是冷啟動問題。
冷啟動問題主要分為三類:
針對用戶冷啟動,下面給出一些簡要的方案:
(1)有效利用賬戶信息。利用用戶注冊時(shí)提供的年齡、性別等數(shù)據(jù)做粗粒度的個(gè)性化;
(2)利用用戶的社交網(wǎng)絡(luò)賬號登錄(需要用戶授權(quán)),導(dǎo)入用戶在社交網(wǎng)站上的好友信息,然后給用戶推薦其好友喜歡的物品;
(3)要求用戶在登錄時(shí)對一些物品進(jìn)行反饋,手機(jī)用戶對這些物品的興趣信息,然后給用推薦那些和這些物品相似的物品;
(4)提供非個(gè)性化推薦。非個(gè)性化推薦的最簡單例子就是熱門排行榜,我們可以給用戶推薦熱門排行榜,然后等到用戶數(shù)據(jù)收集到一定的時(shí)候,在切換為個(gè)性化推薦。
對于物品冷啟動,可以利用新加入物品的內(nèi)容信息,將它們推薦給喜歡過和他們相似的物品的用戶。
對于系統(tǒng)冷啟動,可以引入專家知識,通過一定高效的方式快速建立起物品的相關(guān)度表。
在上面介紹了一些推薦系統(tǒng)的基礎(chǔ)算法知識,這些算法大都是比較經(jīng)典且現(xiàn)在還在使用的。但是需要注意的是,在實(shí)踐中,任何一種推薦算法都不是單獨(dú)使用的,而是將多種推薦算法結(jié)合起來,也就是混合推薦系統(tǒng),但是在這里并不準(zhǔn)備介紹,感興趣的可以查閱《推薦系統(tǒng)》或《推薦系統(tǒng)與深度學(xué)習(xí)》等書籍。此外,在推薦中非常重要的點(diǎn)擊率模型以及基于矩陣的一些排序算法在這里并沒有提及,感興趣的也可自行學(xué)習(xí)。
雖然現(xiàn)在用的很多算法都是基于深度學(xué)習(xí)的,但是這些經(jīng)典算法能夠讓我們對推薦系統(tǒng)的發(fā)展有一個(gè)比較好的理解,同時(shí),更重要的一點(diǎn)——“推陳出新”,只有掌握了這些經(jīng)典的算法,才能提出或理解現(xiàn)在的一些更好地算法。