性能超越最新序列推薦模型，華為諾亞方舟提出記憶增強(qiáng)的圖神經(jīng)網(wǎng)絡(luò)

用戶-商品交互的時(shí)間順序可以揭示出推薦系統(tǒng)中用戶行為隨時(shí)間演進(jìn)的序列性特征。用戶與之交互的商品可能受到用戶曾經(jīng)接觸的商品的影響。但是，用戶和商品數(shù)量的大量增加，使得序列推薦系統(tǒng)仍然面臨很多重要問(wèn)題：（1）對(duì)短時(shí)用戶興趣建模的困難；（2）捕捉用戶長(zhǎng)期興趣的困難；（3）對(duì)商品共現(xiàn)模式的建模效率較低。為了應(yīng)對(duì)這些挑戰(zhàn)，本文提出了一個(gè)記憶增強(qiáng)的圖神經(jīng)網(wǎng)絡(luò)（memory augmented graph neural network, MA-GNN），以捕捉用戶的長(zhǎng)期和短期興趣。

特別地，本文使用圖神經(jīng)網(wǎng)絡(luò)對(duì)短期的商品語(yǔ)境信息建模，并使用共享的記憶網(wǎng)絡(luò)來(lái)捕捉商品之間的長(zhǎng)期依賴。另外，本文使用雙線性函數(shù)以捕捉相關(guān)商品的共現(xiàn)模式。在模型評(píng)估上，本文在五個(gè)真實(shí)場(chǎng)景的數(shù)據(jù)集上進(jìn)行了評(píng)測(cè)，并使用一系列評(píng)估指標(biāo)和多個(gè)當(dāng)前效果最優(yōu)的模型進(jìn)行了對(duì)比。試驗(yàn)結(jié)果顯示，本文模型在Top-K序列推薦中效果極佳。

介紹

隨著網(wǎng)絡(luò)服務(wù)和移動(dòng)設(shè)備的快速增加，個(gè)性化推薦系統(tǒng)在現(xiàn)代社會(huì)中正扮演著越來(lái)越重要的角色。個(gè)性化推薦系統(tǒng)能夠降低信息負(fù)載、滿足多種服務(wù)需求，并至少在以下兩方面起到極大助力：（i）幫助用戶發(fā)現(xiàn)上百萬(wàn)候選產(chǎn)品中的合適商品；（ii）為產(chǎn)品提供商創(chuàng)造增長(zhǎng)營(yíng)業(yè)額的機(jī)會(huì)。

在網(wǎng)絡(luò)中，用戶以線性順序訪問(wèn)商品。用戶在未來(lái)查看的商品可能收到歷史瀏覽記錄的影響，這創(chuàng)造了一個(gè)具有操作性的應(yīng)用場(chǎng)景——序列推薦。在序列推薦任務(wù)中，除了和通用推薦系統(tǒng)一樣需要捕捉用戶的整體興趣之外，我們認(rèn)為還有另外三個(gè)重要因素需要考慮：用戶短期興趣，用戶長(zhǎng)期興趣，商品共現(xiàn)模式。用戶短期興趣描述了用戶在短期內(nèi)訪問(wèn)商品的偏好。用戶長(zhǎng)期興趣捕捉用戶之前訪問(wèn)的和未來(lái)將訪問(wèn)的商品之間的長(zhǎng)期以來(lái)。商品共現(xiàn)模式則對(duì)相關(guān)商品的共現(xiàn)規(guī)律進(jìn)行闡釋。

盡管目前已有很多序列推薦模型，但我們認(rèn)為已有模型尚不能完整捕捉前文提到的三個(gè)因素。首先，Caser, MARank, Fossil等人僅對(duì)用戶短期興趣進(jìn)行了建模，忽略了商品的長(zhǎng)期依賴關(guān)系。第二， SARSRec等類似模型沒(méi)有對(duì)用戶短期興趣進(jìn)行有效的建模，使得模型難以理解用戶在短期內(nèi)的興趣變化。第三，GC-SAN，GRU4Rec++等類似模型未能明確捕捉商品序列中的商品共現(xiàn)規(guī)律。由于相關(guān)商品經(jīng)常共同出現(xiàn)，推薦模型應(yīng)當(dāng)對(duì)此因素加以考量。

為將上述三個(gè)因素加入序列推薦模型，本文提出了一個(gè)記憶增強(qiáng)的圖神經(jīng)網(wǎng)絡(luò)（MA-GNN）。該模型包括一個(gè)整體興趣模塊，一個(gè)短期興趣模塊，一個(gè)長(zhǎng)期興趣模塊，以及一個(gè)商品共現(xiàn)模塊。在整體興趣模塊中，我們使用矩陣分解對(duì)用戶整體興趣建模，該模塊不包含商品對(duì)序列變化信息。在短時(shí)興趣模塊中，我們使用一個(gè)GNN結(jié)構(gòu)加入商品的鄰接關(guān)系信息，以構(gòu)成用戶的短期興趣。

這一結(jié)構(gòu)能夠捕捉較短時(shí)期的情境信息和結(jié)構(gòu)。為了對(duì)用戶的長(zhǎng)期興趣建模，我用使用一個(gè)鍵值記憶網(wǎng)絡(luò)（key-value memory network）以基于用戶的長(zhǎng)期商品序列形成對(duì)用戶興趣的表征。通過(guò)該方法，在推薦一個(gè)商品時(shí)，其他具有相似偏好的用戶也會(huì)成為影響因素。為了綜合用戶的長(zhǎng)期和短期興趣，我們?cè)贕NN框架中引入了門機(jī)制，和LSTM網(wǎng)絡(luò)中的門機(jī)制類似。這一機(jī)制對(duì)長(zhǎng)時(shí)和短時(shí)興趣在模型中的貢獻(xiàn)度進(jìn)行控制。在商品共現(xiàn)模塊中，我們使用了一個(gè)雙線性函數(shù)以捕捉商品序列中高度相關(guān)的商品。我們?cè)谖鍌�(gè)真實(shí)世界的數(shù)據(jù)集上對(duì)模型進(jìn)行了評(píng)估，并使用一系列評(píng)估指標(biāo)，和多個(gè)當(dāng)前最先進(jìn)的模型進(jìn)行了對(duì)比。試驗(yàn)結(jié)果顯示了本文模型相較于其他模型在推薦效果上的提升，并展示了上述模塊的有效性。

總體而言，本文的主要共現(xiàn)為：

為了對(duì)用戶短期和長(zhǎng)期興趣建模，提出一個(gè)記憶增強(qiáng)的圖神經(jīng)網(wǎng)絡(luò)，以捕捉短期情境信息和長(zhǎng)期依賴；

為了高校融合短期和長(zhǎng)期興趣信息，提出了GNN框架中的門機(jī)制；

為對(duì)商品共現(xiàn)模式進(jìn)行建模，使用雙線性函數(shù)來(lái)捕捉商品之間的特征關(guān)聯(lián)；

在五個(gè)真實(shí)世界數(shù)據(jù)集上進(jìn)行評(píng)估試驗(yàn)，結(jié)果顯示MA-GNN的效果顯著由于已有的序列推薦模型。

相關(guān)工作

整體推薦

早期的推薦模型主要研究顯性反饋，近期研究則逐漸轉(zhuǎn)向隱性數(shù)據(jù)。使用隱性反饋的協(xié)同過(guò)濾（collaborative filtering, CF）往往被認(rèn)為是一個(gè)Top-K推薦認(rèn)為，該任務(wù)的目標(biāo)即為用戶推薦一個(gè)可能感興趣的商品列表。這一任務(wù)更具有實(shí)際性和挑戰(zhàn)性，且更適合真實(shí)世界的推薦場(chǎng)景。早期的相關(guān)工作主要使用矩陣分解技術(shù)學(xué)習(xí)用戶和商品的隱性特征，基于神經(jīng)網(wǎng)絡(luò)的方法也經(jīng)常被采用。

序列推薦

序列推薦模型將商品序列作為輸入信息。一個(gè)經(jīng)典方法是使用馬爾可夫鏈對(duì)數(shù)據(jù)建模。FPMC, TransREC都屬于此類方法。近期，受自然語(yǔ)言處理中序列學(xué)習(xí)的啟發(fā)，學(xué)者們提出了基于（深度）神經(jīng)網(wǎng)絡(luò)的方法，包括基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）、基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）等。注意力機(jī)制、記憶網(wǎng)絡(luò)也在序列推薦模型中得到應(yīng)用。

本文和已有模型的不同之處在于，模型使用記憶增強(qiáng)的圖神經(jīng)網(wǎng)絡(luò)以捕捉長(zhǎng)期和短期興趣。另外，本文加入了一個(gè)商品共現(xiàn)模塊，以對(duì)高度相關(guān)的商品建模。

問(wèn)題定義

本文考量的推薦任務(wù)將序列的隱性反饋?zhàn)鳛橛?xùn)練數(shù)據(jù)。用戶興趣通過(guò)一個(gè)用戶-商品的線性序列進(jìn)行表征，公式如下：