1. 導論與概述

序列推薦旨在根據使用者的歷史行為序列預測其下一次互動。儘管如 GRU4Rec、SASRec 和 BERT4Rec 等深度學習模型已達到頂尖成果，但它們往往忽略了一個關鍵因素：驅動使用者行為的底層潛在意圖。使用者的點擊流可能是為節日禮物購物、研究某項嗜好或例行性購買的混合體。本文《意圖對比學習於序列推薦》主張，明確地對這些未觀察到的意圖進行建模，能顯著提升推薦準確度，更重要的是，提升模型的穩健性。

作者提出了意圖對比學習，這是一種新穎的自監督學習範式。ICL 的核心創新是一個兩階段、類似 EM 的框架：(1) 意圖發現：從使用者序列推斷潛在意圖的分佈，通常透過聚類實現。(2) 意圖感知的對比學習：利用發現的意圖為對比式自監督學習建立正樣本對，最大化序列視圖與其分配意圖之間的一致性。這種方法讓序列推薦模型能夠學習到對同一意圖群集內的雜訊保持不變，並能區分不同意圖的表徵。

2. 方法論：意圖對比學習 (ICL)

ICL 將序列推薦視為在潛在變數下學習的問題。目標是聯合學習序列推薦模型的參數與潛在意圖分佈。

2.1 問題形式化與潛在意圖變數

令 $U$ 為使用者集合，$V$ 為項目集合。對於使用者 $u$，其互動歷史是一個序列 $S_u = [v_1, v_2, ..., v_n]$。ICL 為每個序列引入一個潛在意圖變數 $z$，該變數服從 $K$ 個可能意圖的分類分佈。序列與意圖的聯合機率建模為 $p(S_u, z) = p(z) p_\theta(S_u | z)$，其中 $\theta$ 是序列推薦模型（例如 Transformer）的參數。

2.2 透過聚類進行意圖表徵學習

由於意圖是未觀察到的，ICL 從資料中推斷它們。一個初始的序列推薦模型（例如簡單的編碼器）產生序列表徵 $h_u$。這些表徵接著被聚類（例如使用 K-means），為每個序列 $S_u$ 分配一個偽意圖標籤 $\hat{z}_u$。這個聚類步驟有效地執行了無監督意圖發現，將由相似底層動機驅動的序列分組。

2.3 結合意圖的對比式自監督學習

這是 ICL 的核心。給定一個序列 $S_u$ 及其偽意圖 $\hat{z}_u$，模型建立該序列的兩個增強視圖 $\tilde{S}_u^a$ 和 $\tilde{S}_u^b$（例如透過項目遮罩、裁剪或重新排序）。對比損失旨在拉近這兩個視圖的表徵，同時將它們推離屬於不同意圖群集的序列。損失函數基於 InfoNCE 目標：

$\mathcal{L}_{cont} = -\log \frac{\exp(\text{sim}(h_u^a, h_u^b) / \tau)}{\sum_{S_k \in \mathcal{N}} \exp(\text{sim}(h_u^a, h_k) / \tau)}$

其中 $\mathcal{N}$ 是一組負樣本（來自其他意圖群集的序列），$\text{sim}(\cdot)$ 是相似度函數（例如餘弦相似度），$\tau$ 是溫度參數。

2.4 透過廣義期望最大化進行訓練

ICL 訓練在兩個步驟之間交替進行，類似期望最大化演算法：

  1. E 步驟（意圖推斷）：固定序列推薦模型參數，使用聚類為所有序列分配/更新偽意圖標籤 $\hat{z}_u$。
  2. M 步驟（模型最佳化）：固定意圖分配，使用組合損失最佳化序列推薦模型參數：標準的下一個項目預測損失（例如交叉熵）加上意圖感知的對比損失 $\mathcal{L}_{cont}$。

這個迭代過程同時精煉了意圖理解和序列表徵。

3. 技術細節與數學框架

ICL 的整體目標函數是一個多任務損失：

$\mathcal{L} = \mathcal{L}_{pred} + \lambda \mathcal{L}_{cont}$

其中 $\mathcal{L}_{pred}$ 是主要的序列預測損失，$\mathcal{L}_{cont}$ 是上述定義的對比損失，$\lambda$ 是平衡超參數。模型架構通常包含一個共享的項目嵌入層，後接一個序列編碼器（例如 Transformer 區塊）。編碼器最後一個位置的輸出被用作序列表徵 $h_u$，用於下一個項目預測和對比學習。

一個關鍵的技術細節是聚類步驟的處理。本文探討了線上聚類（在訓練期間更新質心）與離線聚類（定期重新聚類）。意圖數量 $K$ 的選擇也至關重要，通常被視為在驗證集上調整的超參數。

4. 實驗結果與分析

本文在四個真實世界資料集上驗證了 ICL：Amazon (Beauty, Sports)、Yelp 和 MovieLens-1M。評估指標包括 Recall@K 和 NDCG@K。

4.1 資料集與基準模型

基準模型包括經典模型（FPMC, GRU4Rec）、頂尖模型（SASRec, BERT4Rec）以及其他基於自監督學習的序列推薦方法（CL4SRec, CoSeRec）。這建立了一個強大的競爭環境。

4.2 效能比較

ICL 在所有資料集和指標上持續優於所有基準模型。例如，在 Amazon Beauty 上，ICL 在 Recall@20 上相較於最強的基準模型（BERT4Rec）取得了約 5-8% 的相對提升。在像 Yelp 這樣更稀疏的資料集上，增益尤其顯著，突顯了 ICL 的資料高效學習能力。

關鍵效能提升（範例）

資料集： Amazon Sports
指標： NDCG@10
最佳基準模型 (SASRec)： 0.0521
ICL： 0.0567 (+8.8%)

4.3 穩健性分析：稀疏性與雜訊

一個主要宣稱的貢獻是穩健性。本文進行了兩個關鍵實驗：

  1. 資料稀疏性：在越來越小的資料比例上訓練模型。ICL 的效能下降比基準模型更為平緩，顯示其自監督學習元件能有效利用有限的資料。
  2. 雜訊互動：在序列中人工注入隨機點擊。ICL 保持了更高的準確度，因為基於意圖的對比損失幫助模型區分訊號（意圖驅動的項目）與雜訊。

圖表描述（想像）： 折線圖將顯示 Recall@20 與訓練資料百分比。ICL 的線會從高點開始並緩慢下降，而 SASRec 和 BERT4Rec 的線則會從較低點開始並下降得更快，尤其是在低於 60% 資料時。

4.4 消融研究與超參數敏感性

消融研究確認了兩個元件的必要性：移除對比損失（$\lambda=0$）或用隨機群集替換學習到的意圖會導致效能顯著下降。模型對意圖群集數量 $K$ 和對比損失權重 $\lambda$ 表現出合理的敏感性，最佳值因資料集而異。

5. 分析框架：實務案例研究

情境： 一個電子商務平台觀察到一個使用者序列：["登山靴", "防水夾克", "露營爐", "小說"]。一個標準的序列推薦模型可能會預測 "帳篷" 或 "背包"。

ICL 框架應用：

  1. 意圖發現（聚類）： ICL 的聚類模組將此序列與其他共享潛在意圖特徵的序列分組（例如包含 "釣魚竿"、"露營椅"、"戶外雜誌" 的序列）。它分配一個偽意圖標籤，例如 "戶外休閒準備"。
  2. 對比學習： 在訓練期間，此序列的增強視圖（例如 ["登山靴", "[MASK]", "露營爐"]）在表徵空間中被拉近。它們也被推離具有 "休閒閱讀" 意圖的序列（包含像 "小說"、"傳記"、"電子閱讀器" 等項目）。
  3. 預測： 因為模型已經學習到與 "戶外休閒" 意圖相關的穩健表徵，它可以更有信心地推薦像 "便攜式濾水器" 或 "頭燈" 這樣的項目，即使它們在原始資料中沒有頻繁與 "小說" 共同出現。它理解 "小說" 很可能是雜訊，或是主導群集內一個獨立的、次要的意圖。
這展示了 ICL 如何超越簡單的共同出現，實現意圖感知的推理。

6. 核心洞見與批判性分析

核心洞見： 本文的根本突破不僅僅是將另一個對比損失附加到 Transformer 上。它是將潛在變數模型（意圖）正式整合到現代序列推薦的自監督學習範式中。這橋接了經典機率模型的可解釋性與穩健性，以及深度學習的表徵能力。它直接處理使用者行為背後的 "原因"，而不僅僅是 "做了什麼" 和 "何時做"。

邏輯流程： 論點具有說服力：1) 意圖存在且重要。2) 它們是潛在的。3) 聚類是一種合理、可擴展的發現代理。4) 對比學習是將這種發現的結構作為監督訊號注入的理想機制。5) EM 框架優雅地處理了兩者共同學習的雞生蛋問題。實驗邏輯性地跟進，以驗證效能和穩健性主張。

優點與缺陷：
優點： 方法論優雅且可泛化——ICL 是一個可以增強許多骨幹序列推薦架構的 "外掛" 範式。穩健性主張經過充分測試，對於現實世界部署（資料總是混亂且稀疏）極具價值。與經典 EM 的連結提供了純深度學習論文常缺乏的理論基礎。
缺陷： 房間裡的大象是意圖定義的循環性。意圖是由我們正在訓練的模型所學習的序列表徵聚類來定義的。這有強化模型現有偏見的風險，而非發現真正、語義上有意義的意圖。K 的選擇是啟發式的。此外，雖然效能增益是明確的，但本文可以更定性地分析發現的意圖。它們是人類可解釋的（例如 "禮物購物"、"居家改善"）還是只是抽象的群集？這是一個錯失深入洞察的機會，類似於研究人員分析 Transformer 中的注意力圖或 CNN 中的特徵視覺化。

可執行的洞見： 對於實務工作者，本文是一個指令，要求他們超越原始的互動序列。投資無監督意圖發現作為預處理或聯合訓練步驟。 僅穩健性發現就足以證明，對於面臨冷啟動使用者或雜訊日誌的生產系統，增加複雜性是合理的。研究社群應將此視為一個呼籲，探索在自監督學習框架內更複雜的潛在變數模型（例如分層、動態）。下一步是從靜態、全域的意圖轉向個人化且演化的意圖模型，或許可以從像動態主題模型這樣的主題建模軌跡中汲取靈感。

原創分析（300-600字）： ICL 框架代表了推薦系統自監督學習領域的一個重要成熟階段。序列推薦中的早期自監督學習方法，如 CL4SRec，主要應用受 NLP 和 CV 啟發的通用增強（遮罩、裁剪），將序列視為通用的時間序列資料。ICL 透過引入領域特定的語義結構——意圖——作為建立正樣本對的指導原則，推進了這項工作。這類似於電腦視覺中從使用通用增強的 SimCLR，演進到後來在可用時使用語義類別資訊來指導對比學習的方法。ICL 的創新之處在於以完全無監督的方式為序列實現了這一點。

本文的穩健性主張是其最具商業吸引力的方面。在現實世界的平台中，正如 Netflix 和 Spotify 的研究所指出的，使用者互動資料以稀疏和充滿雜訊而聞名。使用者的歷史是深思熟慮的購買、探索性點擊和意外點擊的混合體。傳統的基於似然的模型難以區分這些。ICL 的對比目標，旨在最大化被認為共享相同意圖的序列不同視圖之間的一致性，本質上教導模型對意圖群集內的雜訊保持不變。這是一種強大的去雜訊形式。它與更廣泛的機器學習穩健性文獻中的發現一致，其中對比式預訓練已被證明能提升模型對抗對抗樣本和標籤雜訊的穩定性。

然而，這種方法並非沒有哲學和實務上的挑戰。依賴聚類作為意圖發現的代理是其致命弱點。正如無監督表徵學習的研究人員所論證的，聚類的品質完全取決於初始表徵空間。不良的初始表徵導致不良的群集，進而引導對比學習去強化那些不良表徵——這是一個潛在的負面回饋循環。EM 框架緩解了這個問題，但並未消除風險。未來的工作可以探索更貝葉斯或變分的方法來進行意圖建模，類似於用於協同過濾的變分自編碼器，但要與對比目標整合。另一個方向是納入弱監督或側面資訊（例如產品類別、使用者人口統計資料）來 "播種" 或正規化意圖發現過程，使群集更具可解釋性和可操作性，就像使用知識圖譜來增強推薦語義一樣。

最終，ICL 成功地證明了將潛在語義結構注入自監督學習流程是一個強大的方向。它將該領域從學習序列相似性推向學習意圖相似性，這是一個更高層次的抽象，可能更具可轉移性和穩健性。這種範式轉移不僅可能影響推薦系統，還可能影響任何底層目標或狀態未被觀察到的序列決策模型。

7. 應用展望與未來方向

短期應用：

  • 冷啟動與稀疏資料平台： ICL 非常適合使用者互動資料有限的新平台或利基垂直領域。
  • 多領域/跨平台推薦： 學習到的意圖可以作為使用者興趣在不同服務（例如從電子商務到內容串流）之間可轉移的表徵。
  • 可解釋的推薦： 如果意圖變得可解釋，它們可以驅動新的解釋介面（"推薦此項目，因為您正處於 '居家辦公室設置' 模式"）。

未來研究方向：

  1. 動態與分層意圖： 從每個會話的單一靜態意圖，轉向建模意圖在會話內如何演變（例如從 "研究" 到 "購買"）或如何分層組織。
  2. 與側面資訊整合： 融合多模態資料（文字評論、圖像），將意圖發現建立在更豐富的語義基礎上，超越純行為聚類。
  3. 理論分析： 為意圖的可識別性或所提出的類 EM 演算法的收斂特性提供形式化保證。
  4. 意圖驅動的序列生成： 使用意圖變數來控制或引導多樣化和探索性推薦清單的生成，而不僅僅是預測下一個單一項目。

8. 參考文獻

  1. Chen, Y., Liu, Z., Li, J., McAuley, J., & Xiong, C. (2022). Intent Contrastive Learning for Sequential Recommendation. Proceedings of the ACM Web Conference 2022 (WWW '22).
  2. Kang, W., & McAuley, J. (2018). Self-attentive sequential recommendation. 2018 IEEE International Conference on Data Mining (ICDM).
  3. Sun, F., Liu, J., Wu, J., Pei, C., Lin, X., Ou, W., & Jiang, P. (2019). BERT4Rec: Sequential recommendation with bidirectional encoder representations from transformer. Proceedings of the 28th ACM International Conference on Information and Knowledge Management.
  4. Xie, X., Sun, F., Liu, Z., Wu, S., Gao, J., Zhang, J., ... & Jiang, P. (2022). Contrastive learning for sequential recommendation. 2022 IEEE 38th International Conference on Data Engineering (ICDE).
  5. Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., ... & Bengio, Y. (2014). Generative adversarial nets. Advances in neural information processing systems, 27. (Cited for context on latent variable models).
  6. Kingma, D. P., & Welling, M. (2013). Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114. (Cited for context on variational methods for latent variables).
  7. Netflix Research Blog. (2020). Recommendations for a Healthy Ecosystem. [Online] Available. (Cited for context on real-world data sparsity and noise).