性能超越最新序列推薦模型，華為諾亞方舟提出記憶增強的圖神經(jīng)網(wǎng)絡(luò)

用戶-商品交互的時間順序可以揭示出推薦系統(tǒng)中用戶行為隨時間演進的序列性特征。用戶與之交互的商品可能受到用戶曾經(jīng)接觸的商品的影響。但是，用戶和商品數(shù)量的大量增加，使得序列推薦系統(tǒng)仍然面臨很多重要問題：（1）對短時用戶興趣建模的困難；（2）捕捉用戶長期興趣的困難；（3）對商品共現(xiàn)模式的建模效率較低。為了應(yīng)對這些挑戰(zhàn)，本文提出了一個記憶增強的圖神經(jīng)網(wǎng)絡(luò)（memory augmented graph neural network, MA-GNN），以捕捉用戶的長期和短期興趣。

特別地，本文使用圖神經(jīng)網(wǎng)絡(luò)對短期的商品語境信息建模，并使用共享的記憶網(wǎng)絡(luò)來捕捉商品之間的長期依賴。另外，本文使用雙線性函數(shù)以捕捉相關(guān)商品的共現(xiàn)模式。在模型評估上，本文在五個真實場景的數(shù)據(jù)集上進行了評測，并使用一系列評估指標和多個當前效果最優(yōu)的模型進行了對比。試驗結(jié)果顯示，本文模型在Top-K序列推薦中效果極佳。

介紹

隨著網(wǎng)絡(luò)服務(wù)和移動設(shè)備的快速增加，個性化推薦系統(tǒng)在現(xiàn)代社會中正扮演著越來越重要的角色。個性化推薦系統(tǒng)能夠降低信息負載、滿足多種服務(wù)需求，并至少在以下兩方面起到極大助力：（i）幫助用戶發(fā)現(xiàn)上百萬候選產(chǎn)品中的合適商品；（ii）為產(chǎn)品提供商創(chuàng)造增長營業(yè)額的機會。

在網(wǎng)絡(luò)中，用戶以線性順序訪問商品。用戶在未來查看的商品可能收到歷史瀏覽記錄的影響，這創(chuàng)造了一個具有操作性的應(yīng)用場景——序列推薦。在序列推薦任務(wù)中，除了和通用推薦系統(tǒng)一樣需要捕捉用戶的整體興趣之外，我們認為還有另外三個重要因素需要考慮：用戶短期興趣，用戶長期興趣，商品共現(xiàn)模式。用戶短期興趣描述了用戶在短期內(nèi)訪問商品的偏好。用戶長期興趣捕捉用戶之前訪問的和未來將訪問的商品之間的長期以來。商品共現(xiàn)模式則對相關(guān)商品的共現(xiàn)規(guī)律進行闡釋。

盡管目前已有很多序列推薦模型，但我們認為已有模型尚不能完整捕捉前文提到的三個因素。首先，Caser, MARank, Fossil等人僅對用戶短期興趣進行了建模，忽略了商品的長期依賴關(guān)系。第二， SARSRec等類似模型沒有對用戶短期興趣進行有效的建模，使得模型難以理解用戶在短期內(nèi)的興趣變化。第三，GC-SAN，GRU4Rec++等類似模型未能明確捕捉商品序列中的商品共現(xiàn)規(guī)律。由于相關(guān)商品經(jīng)常共同出現(xiàn)，推薦模型應(yīng)當對此因素加以考量。

為將上述三個因素加入序列推薦模型，本文提出了一個記憶增強的圖神經(jīng)網(wǎng)絡(luò)（MA-GNN）。該模型包括一個整體興趣模塊，一個短期興趣模塊，一個長期興趣模塊，以及一個商品共現(xiàn)模塊。在整體興趣模塊中，我們使用矩陣分解對用戶整體興趣建模，該模塊不包含商品對序列變化信息。在短時興趣模塊中，我們使用一個GNN結(jié)構(gòu)加入商品的鄰接關(guān)系信息，以構(gòu)成用戶的短期興趣。

這一結(jié)構(gòu)能夠捕捉較短時期的情境信息和結(jié)構(gòu)。為了對用戶的長期興趣建模，我用使用一個鍵值記憶網(wǎng)絡(luò)（key-value memory network）以基于用戶的長期商品序列形成對用戶興趣的表征。通過該方法，在推薦一個商品時，其他具有相似偏好的用戶也會成為影響因素。為了綜合用戶的長期和短期興趣，我們在GNN框架中引入了門機制，和LSTM網(wǎng)絡(luò)中的門機制類似。這一機制對長時和短時興趣在模型中的貢獻度進行控制。在商品共現(xiàn)模塊中，我們使用了一個雙線性函數(shù)以捕捉商品序列中高度相關(guān)的商品。我們在五個真實世界的數(shù)據(jù)集上對模型進行了評估，并使用一系列評估指標，和多個當前最先進的模型進行了對比。試驗結(jié)果顯示了本文模型相較于其他模型在推薦效果上的提升，并展示了上述模塊的有效性。

總體而言，本文的主要共現(xiàn)為：

為了對用戶短期和長期興趣建模，提出一個記憶增強的圖神經(jīng)網(wǎng)絡(luò)，以捕捉短期情境信息和長期依賴；

為了高校融合短期和長期興趣信息，提出了GNN框架中的門機制；

為對商品共現(xiàn)模式進行建模，使用雙線性函數(shù)來捕捉商品之間的特征關(guān)聯(lián)；

在五個真實世界數(shù)據(jù)集上進行評估試驗，結(jié)果顯示MA-GNN的效果顯著由于已有的序列推薦模型。

相關(guān)工作

整體推薦

早期的推薦模型主要研究顯性反饋，近期研究則逐漸轉(zhuǎn)向隱性數(shù)據(jù)。使用隱性反饋的協(xié)同過濾（collaborative filtering, CF）往往被認為是一個Top-K推薦認為，該任務(wù)的目標即為用戶推薦一個可能感興趣的商品列表。這一任務(wù)更具有實際性和挑戰(zhàn)性，且更適合真實世界的推薦場景。早期的相關(guān)工作主要使用矩陣分解技術(shù)學(xué)習(xí)用戶和商品的隱性特征，基于神經(jīng)網(wǎng)絡(luò)的方法也經(jīng)常被采用。

序列推薦

序列推薦模型將商品序列作為輸入信息。一個經(jīng)典方法是使用馬爾可夫鏈對數(shù)據(jù)建模。FPMC, TransREC都屬于此類方法。近期，受自然語言處理中序列學(xué)習(xí)的啟發(fā)，學(xué)者們提出了基于（深度）神經(jīng)網(wǎng)絡(luò)的方法，包括基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）、基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）等。注意力機制、記憶網(wǎng)絡(luò)也在序列推薦模型中得到應(yīng)用。

本文和已有模型的不同之處在于，模型使用記憶增強的圖神經(jīng)網(wǎng)絡(luò)以捕捉長期和短期興趣。另外，本文加入了一個商品共現(xiàn)模塊，以對高度相關(guān)的商品建模。

問題定義

本文考量的推薦任務(wù)將序列的隱性反饋作為訓(xùn)練數(shù)據(jù)。用戶興趣通過一個用戶-商品的線性序列進行表征，公式如下：