意圖對比學習用於序列推薦 (ICLRec)

1. 簡介

序列推薦 (SR) 旨在根據用戶嘅歷史行為序列預測其下一次互動。雖然深度學習模型已經達到最先進嘅效能，但佢哋經常忽略驅動用戶行為嘅底層潛在意圖（例如，「購買釣魚裝備」、「為假期做準備」）。呢啲意圖係未被觀察到嘅，但對於理解用戶動機同提升推薦準確度同穩健性至關重要，特別係喺數據稀疏或嘈雜嘅情況下。

本文介紹意圖對比學習 (ICL)，一種將潛在意圖變量注入SR模型嘅新穎範式。核心思想係從未標記嘅序列中學習用戶意圖分佈，並使用對比自監督學習優化SR模型，將序列視圖與其對應意圖對齊。

2. 背景與相關工作

2.1 序列推薦

GRU4Rec、SASRec、BERT4Rec等模型捕捉時間動態，但通常將行為建模為直接嘅物品序列，忽略咗更高階嘅意圖信號。

2.2 意圖建模

以往嘅意圖感知模型通常依賴顯式嘅輔助信息（例如，查詢、類別）。ICL嘅創新之處在於直接從隱式行為序列中學習意圖。

2.3 對比學習

受電腦視覺（例如SimCLR、MoCo）同自然語言處理領域成功嘅啟發，對比學習最大化同一數據唔同增強視圖之間嘅一致性。ICL將此方法調整為將行為序列與其潛在意圖對齊。

3. 方法論：意圖對比學習 (ICL)

3.1 問題定義

給定一個用戶 $u$ 及其互動序列 $S^u = [v_1^u, v_2^u, ..., v_t^u]$，目標係預測下一個物品 $v_{t+1}^u$。ICL引入一個潛在意圖變量 $z$ 來解釋該序列。

3.2 潛在意圖變量

意圖 $z$ 被建模為一個類別變量，代表序列背後嘅潛在動機。模型學習一個分佈 $p(z | S^u)$。

3.3 透過聚類學習意圖分佈

用戶序列表示被聚類（例如使用K-means）以發現 $K$ 個潛在意圖原型。每個聚類中心代表一個意圖。

3.4 對比自監督學習

核心學習信號來自對比損失。對於一個序列 $S$，創建兩個增強視圖 ($S_i$, $S_j$)。模型被訓練以拉近序列表示與其分配嘅意圖聚類表示之間嘅距離，同時推開其他意圖。正樣本對（序列，其意圖）嘅對比損失基於InfoNCE損失：

$\mathcal{L}_{cont} = -\log \frac{\exp(\text{sim}(f(S), g(z)) / \tau)}{\sum_{z' \in \mathcal{Z}} \exp(\text{sim}(f(S), g(z')) / \tau)}$

其中 $f$ 係序列編碼器，$g$ 係意圖嵌入函數，$\text{sim}$ 係相似度函數（例如餘弦相似度），$\tau$ 係溫度參數。

3.5 透過廣義EM框架進行訓練

訓練喺廣義期望最大化 (EM) 框架內交替進行兩個步驟：

1. E步（意圖推斷）： 根據當前模型參數，估計每個序列潛在意圖 $z$ 嘅後驗分佈。
2. M步（模型更新）： 透過最大化期望對數似然來更新SR模型參數，其中包括標準嘅下一個物品預測損失同對比損失 $\mathcal{L}_{cont}$。

呢個迭代過程完善咗意圖理解同推薦質量。

4. 實驗與結果

4.1 數據集與基準模型

實驗喺四個真實世界數據集上進行：Beauty、Sports、Toys 同 Yelp。基準模型包括最先進嘅SR模型（SASRec、BERT4Rec）同自監督方法（CL4SRec）。

4.2 效能比較

ICL喺Recall同NDCG指標上取得顯著提升（例如，喺Beauty數據集上NDCG@10比最佳基準模型提升+5.2%），證明咗潛在意圖建模嘅有效性。

4.3 穩健性分析

一個關鍵貢獻係提升咗穩健性。ICL喺數據稀疏（使用較短序列）同存在嘈雜互動（隨機插入無關物品）嘅情況下表現出優越效能。意圖層面嘅對比學習提供咗一個穩定信號，對個別嘈雜物品唔敏感。

4.4 消融研究

消融研究確認咗兩個組件嘅必要性：(1) 移除對比損失導致效能顯著下降；(2) 使用固定/隨機意圖而非學習到嘅意圖亦會損害效能，驗證咗聯合意圖學習同對比對齊嘅設計。

5. 關鍵見解與分析

核心見解： 本文嘅根本突破唔只係另一個對比技巧；而係將潛在變量建模正式重新引入現代深度序列推薦器。雖然SASRec等模型係強大嘅序列學習器，但佢哋本質上係「黑盒」自回歸器。ICL嘅巧妙之處在於迫使模型透過一個離散、可解釋嘅潛在意圖 $z$ 來解釋序列，創造咗一個過濾噪音並捕捉「做乜」背後「點解」嘅瓶頸。呢個令人聯想到VAE等生成模型中嘅哲學轉變，但係應用於推薦嘅判別式模型。

邏輯流程： 方法論簡潔優雅。1) 聚類序列以獲得意圖原型（E步代理）。2) 使用呢啲原型作為對比損失嘅錨點。3) 對比損失規範序列編碼器，產生與呢啲語義錨點對齊嘅表示。4) 呢種對齊反過來完善聚類同整體推薦目標。呢個係表示學習同聚類嘅良性循環，由EM框架穩定——一個經典想法透過現代對比學習變得強大。

優點與缺點： 主要優點係實證展示嘅穩健性。透過在意圖層面學習，模型對稀疏性同噪音變得冇咁脆弱——呢個係許多過度參數化深度推薦器嘅關鍵缺陷。該框架亦與基礎SR架構無關。然而，主要缺點係靜態意圖假設。模型假設每個序列只有單一潛在意圖，但實際上，用戶會話可以係多方面嘅（例如，瀏覽禮物同為自己購物）。聚類步驟亦引入超參數（意圖數量K）同潛在嘅初始化敏感性，本文對此輕輕帶過。同強化學習或探索研究中更動態嘅意圖解耦方法相比，呢個係一個相對粗粒度嘅解決方案。

可行見解： 對於實踐者，要點好清晰：將可解釋結構注入你嘅深度學習模型。唔好只係將更大嘅Transformer扔向序列。ICL範式可以適應推薦以外嘅領域——任何涉及用戶軌跡嘅任務（例如，UI導航、教育路徑）都可以受益於潛在意圖對比學習。研究人員嘅下一步應該係將呢個方法從單一、靜態意圖發展到層次化或序列化意圖。我哋可以建模用戶意圖喺一個會話期間如何演變嗎？此外，將此與因果推斷框架結合，可以將意圖驅動嘅行動同偶然行動分開，推動真正可解釋同穩健嘅序列模型。代碼發布對於複製同擴展係一個重大利好。

6. 技術細節與數學公式

整體目標函數結合咗標準下一個物品預測損失（例如交叉熵）同對比意圖損失：

$\mathcal{L} = \mathcal{L}_{pred} + \lambda \mathcal{L}_{cont}$

其中 $\lambda$ 控制對比項嘅權重。預測損失 $\mathcal{L}_{pred}$ 係：

$\mathcal{L}_{pred} = -\sum_{u} \log P(v_{t+1}^u | S_{1:t}^u, z^u)$

意圖變量 $z$ 被整合到序列編碼器中。例如，喺基於Transformer嘅編碼器中，意圖嵌入 $g(z)$ 可以作為特殊嘅 `[INTENT]` 標記添加到物品序列前面，允許模型喺生成預測時關注意圖上下文。

7. 分析框架：示例案例

場景： 分析電子商務平台上嘅用戶會話。

冇ICL： 模型睇到用戶A嘅序列：["行山靴", "水樽", "能量棒"]。佢基於共現模式預測"背囊"。

有ICL：

1. 意圖聚類： 模型已學習到一個"戶外準備"嘅意圖聚類。用戶A嘅序列表示被分配到呢個聚類。
2. 對比學習： 訓練期間，["行山靴", "水樽", "能量棒"]嘅表示被拉近到"戶外準備"意圖嵌入。
3. 增強預測： 推斷時，模型意識到"戶外準備"意圖，而家可能仲會推薦"蚊怕水"或"指南針"——呢啲與意圖強烈相關但唔一定與確切歷史序列相關嘅物品——展示出更好嘅泛化能力同對稀疏數據嘅穩健性。

8. 未來應用與方向

• 多領域與跨平台推薦： 潛在意圖（例如「健身」）可以跨領域（體育用品、營養應用程式、影片內容）共享，實現遷移學習。
• 可解釋人工智能 (XAI)： 提供帶有意圖標籤嘅推薦（"推薦呢個係因為你似乎計劃緊釣魚之旅"）可以顯著增加用戶信任同滿意度。
• 對話式推薦系統： 意圖可以作為自然語言對話同物品推薦之間嘅橋樑，提升對話智能體嘅連貫性。
• 動態意圖建模： 擴展ICL以建模單個會話內嘅意圖轉變（例如從「研究」到「購買」），使用時間點過程或狀態空間模型。
• 與大型語言模型 (LLM) 整合： 使用LLM為學習到嘅意圖聚類生成豐富嘅文本描述以提升可解釋性，或使用LLM嵌入來初始化意圖原型。

9. 參考文獻

1. Chen, Y., Liu, Z., Li, J., McAuley, J., & Xiong, C. (2022). Intent Contrastive Learning for Sequential Recommendation. Proceedings of the ACM Web Conference 2022 (WWW '22).
2. Kang, W. C., & McAuley, J. (2018). Self-attentive sequential recommendation. 2018 IEEE International Conference on Data Mining (ICDM).
3. Sun, F., Liu, J., Wu, J., Pei, C., Lin, X., Ou, W., & Jiang, P. (2019). BERT4Rec: Sequential recommendation with bidirectional encoder representations from transformer. Proceedings of the 28th ACM International Conference on Information and Knowledge Management.
4. Xie, X., Sun, F., Liu, Z., Wu, S., Gao, J., Zhang, J., ... & Cui, B. (2022). Contrastive learning for sequential recommendation. 2022 IEEE 38th International Conference on Data Engineering (ICDE).
5. Oord, A. v. d., Li, Y., & Vinyals, O. (2018). Representation learning with contrastive predictive coding. arXiv preprint arXiv:1807.03748.
6. Kingma, D. P., & Welling, M. (2013). Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114.
7. Jannach, D., & Jugovac, M. (2019). Measuring the business value of recommender systems. ACM Transactions on Management Information Systems (TMIS), 10(4), 1-23.