逐次推薦 (SR) は、ユーザーの履歴行動シーケンスに基づいて次のインタラクションを予測することを目的とする。GRU4Rec、SASRec、BERT4Recなどの深層学習モデルは最先端の結果を達成しているが、しばしば重要な要因を見落としている。それは、ユーザー行動を駆動する根本的な潜在意図である。ユーザーのクリックストリームは、休日の贈り物の購入、趣味の調査、日常的な購入などが混在している可能性がある。本論文「逐次推薦のための意図対照学習」は、これらの観測されない意図を明示的にモデル化することで、推薦精度、そして重要なことにモデルのロバスト性を大幅に向上させることができると主張する。
著者らは、新たな自己教師あり学習 (SSL) パラダイムである意図対照学習 (ICL)を提案する。ICLの中核的な革新は、2段階のEM（期待値最大化）法に似たフレームワークである：(1) 意図発見：ユーザーシーケンスから潜在意図の分布を推論する（通常はクラスタリングによる）。(2) 意図を考慮した対照学習：発見された意図を用いて対照的SSLのための正例ペアを作成し、シーケンスのビューとそれに割り当てられた意図との間の一致を最大化する。このアプローチにより、SRモデルは、同じ意図クラスタ内のノイズに対して不変であり、異なる意図間で識別可能な表現を学習することが可能となる。
ICLは、逐次推薦を潜在変数下での学習問題として捉える。目標は、SRモデルのパラメータと潜在意図分布を同時に学習することである。
$U$をユーザー集合、$V$をアイテム集合とする。ユーザー$u$について、そのインタラクション履歴はシーケンス$S_u = [v_1, v_2, ..., v_n]$である。ICLは各シーケンスに対して潜在意図変数$z$を導入し、これは$K$個の可能な意図に関するカテゴリ分布から抽出される。シーケンスと意図の同時確率は$p(S_u, z) = p(z) p_\theta(S_u | z)$としてモデル化される。ここで$\theta$はSRモデル（例：Transformer）のパラメータである。
意図は観測されないため、ICLはデータからそれを推論する。初期のSRモデル（例：単純なエンコーダ）がシーケンス表現$h_u$を生成する。これらの表現はその後クラスタリング（例：K-means）され、各シーケンス$S_u$に擬似意図ラベル$\hat{z}_u$が割り当てられる。このクラスタリングステップは、教師なし意図発見を効果的に実行し、類似した根本的動機によって駆動されるシーケンスをグループ化する。
これがICLの中核である。シーケンス$S_u$とその擬似意図$\hat{z}_u$が与えられたとき、モデルはそのシーケンスの2つの拡張ビュー$\tilde{S}_u^a$と$\tilde{S}_u^b$を作成する（例：アイテムマスキング、クロッピング、順序変更による）。対照損失は、これら2つのビューの表現を互いに近づけながら、異なる意図クラスタに属するシーケンスから遠ざけることを目指す。損失関数はInfoNCE目的関数に基づく：
$\mathcal{L}_{cont} = -\log \frac{\exp(\text{sim}(h_u^a, h_u^b) / \tau)}{\sum_{S_k \in \mathcal{N}} \exp(\text{sim}(h_u^a, h_k) / \tau)}$
ここで、$\mathcal{N}$は負例サンプル（他の意図クラスタからのシーケンス）の集合、$\text{sim}(\cdot)$は類似度関数（例：コサイン類似度）、$\tau$は温度パラメータである。
ICLの学習は、期待値最大化 (EM) アルゴリズムを彷彿とさせる2つのステップを交互に繰り返す：
この反復プロセスにより、意図の理解とシーケンス表現の両方が洗練される。
ICLの全体の目的関数はマルチタスク損失である：
$\mathcal{L} = \mathcal{L}_{pred} + \lambda \mathcal{L}_{cont}$
ここで、$\mathcal{L}_{pred}$は主要な逐次予測損失、$\mathcal{L}_{cont}$は上記で定義された対照損失、$\lambda$はバランスをとるハイパーパラメータである。モデルアーキテクチャは通常、共有アイテム埋め込み層とそれに続くシーケンスエンコーダ（例：Transformerブロック）で構成される。エンコーダの最終位置の出力は、次アイテム予測と対照学習の両方のためのシーケンス表現$h_u$として使用される。
重要な技術的ニュアンスは、クラスタリングステップの扱いである。本論文は、オンラインクラスタリング（学習中に重心を更新）とオフラインクラスタリング（定期的な再クラスタリング）を比較検討している。意図の数$K$の選択も重要であり、検証セットで調整されるハイパーパラメータとして扱われることが多い。
本論文は、4つの実世界データセットでICLを検証している：Amazon (Beauty, Sports)、Yelp、MovieLens-1M。評価指標にはRecall@KとNDCG@Kが含まれる。
ベースラインには、古典的モデル (FPMC, GRU4Rec)、最先端モデル (SASRec, BERT4Rec)、および他のSSLベースのSR手法 (CL4SRec, CoSeRec) が含まれる。これにより強力な競争環境が確立される。
ICLは、全てのデータセットと指標において、一貫して全てのベースラインを上回る。例えば、Amazon Beautyでは、ICLは最強のベースライン (BERT4Rec) に対してRecall@20で約5-8%の相対的改善を達成する。この向上は、Yelpのようなよりスパースなデータセットで特に顕著であり、ICLのデータ効率的な学習を強調している。
データセット： Amazon Sports
指標： NDCG@10
最良ベースライン (SASRec)： 0.0521
ICL： 0.0567 (+8.8%)
主要な主張される貢献はロバスト性である。本論文は2つの重要な実験を行っている：
チャート説明 (想定)： 折れ線グラフは、Recall@20と学習データ割合の関係を示す。ICLの線は高く始まりゆっくりと低下するが、SASRecとBERT4Recの線は低く始まり、特にデータが60%以下の場合に急激に低下する。
アブレーション研究は、両コンポーネントの必要性を確認する：対照損失の除去 ($\lambda=0$) または学習された意図のランダムクラスタへの置き換えは、性能の大幅な低下を引き起こす。モデルは、意図クラスタ数$K$と対照損失の重み$\lambda$に対して合理的な感度を示し、最適値はデータセットごとに異なる。
シナリオ： あるEコマースプラットフォームが、ユーザーシーケンス ["ハイキングブーツ", "防水ジャケット", "キャンプ用ストーブ", "小説"] を観測する。標準的なSRモデルは "テント" や "バックパック" を予測するかもしれない。
ICLフレームワークの適用：
核心的洞察： 本論文の根本的なブレークスルーは、Transformerに別の対照損失を付け加えただけではない。それは、潜在変数モデル（意図）をSRのための現代的なSSLパラダイムに正式に統合したことである。これは、古典的確率モデルの解釈可能性とロバスト性を、深層学習の表現力と結びつける。ユーザー行動の背後にある「何を」「いつを」だけでなく、「なぜ」に直接取り組む。
論理的流れ： 議論は説得力がある：1) 意図は存在し重要である。2) それらは潜在的である。3) クラスタリングは発見のための妥当でスケーラブルな代理である。4) 対照学習は、この発見された構造を教師信号として注入する理想的なメカニズムである。5) EMフレームワークは、両方を一緒に学習するという鶏と卵の問題をエレガントに扱う。実験は、性能とロバスト性の主張を検証するために論理的に続く。
強みと欠点：
強み： 方法論はエレガントで一般化可能である——ICLは多くの基盤SRアーキテクチャを強化できる「プラグイン」パラダイムである。ロバスト性の主張は十分にテストされており、データが常に乱雑でスパースである実世界での展開にとって非常に価値がある。古典的なEMとの関連性は、純粋な深層学習論文ではしばしば欠けている理論的基盤を提供する。
欠点： 明白な問題は、意図定義における循環性である。意図は、まさに学習しようとしているモデルによって学習されたシーケンス表現のクラスタリングによって定義される。これは、真の、意味的に意味のある意図を発見するよりも、モデルの既存のバイアスを強化するリスクがある。Kの選択はヒューリスティックである。さらに、性能向上は明らかであるが、本論文は発見された意図を質的に分析するためにもっとできることがあった。それらは人間が解釈可能なもの（例："贈り物購入"、"ホームインプルーブメント"）なのか、それとも単なる抽象的なクラスタなのか？これは、TransformerのアテンションマップやCNNの特徴可視化を研究者が分析するのと同様に、より深い洞察を得るための機会を逃している。
実践的洞察： 実務家にとって、この論文は生のインタラクションシーケンスを超えて見ることを義務付けるものである。前処理または共同学習ステップとして、教師なし意図発見に投資せよ。 ロバスト性の発見だけでも、コールドスタートユーザーやノイズの多いログに直面する本番システムにとって、追加の複雑さを正当化する。研究コミュニティは、これを、SSLフレームワーク内でより洗練された潜在変数モデル（例：階層的、動的）を探索する呼びかけと見なすべきである。次のステップは、静的でグローバルな意図から、パーソナライズされ進化する意図モデルへと移行することであり、おそらくDynamic Topic Modelsのようなトピックモデリングの軌跡からインスピレーションを得るだろう。
独自分析 (300-600語)： ICLフレームワークは、推薦のための自己教師あり学習分野における重要な成熟を表している。CL4SRecのようなSRにおける初期のSSL手法は、主にNLPとCVに触発された一般的な拡張（マスキング、クロッピング）を適用し、シーケンスを一般的な時系列データとして扱っていた。ICLはこれに、ドメイン固有の意味的構造——意図——を正例ペア作成の指針として導入することで進歩する。これは、コンピュータビジョンにおけるSimCLR（一般的な拡張を使用）から、利用可能な場合は意味的クラス情報を使用して対照学習を導く後の手法への進化に類似している。ICLの革新は、これをシーケンスに対して完全に教師なしで行うことである。
本論文のロバスト性の主張は、商業的に最も説得力のある側面である。NetflixやSpotifyの研究で指摘されているように、実世界のプラットフォームでは、ユーザーインタラクションデータは非常にスパースでノイズが多い。ユーザーの履歴は、意図的な購入、探索的クリック、偶発的なタップの混合物である。従来の尤度ベースのモデルはこれを解きほぐすのに苦労する。ICLの対照目的関数は、同じ意図を共有すると見なされるシーケンスの異なるビュー間の一致を最大化するため、本質的にモデルに、意図クラスタ内のノイズに対して不変であることを教える。これは強力なノイズ除去の形態である。これは、対照的事前学習が敵対的例やラベルノイズに対するモデルの安定性を改善することが示されている、MLにおけるより広範なロバスト性文献の知見と一致する。
しかし、このアプローチは哲学的および実践的課題がないわけではない。意図発見の代理としてのクラスタリングへの依存は、そのアキレス腱である。教師なし表現学習の研究者が主張するように、クラスタリングの質は初期の表現空間に完全に依存する。貧弱な初期表現は貧弱なクラスタを生み出し、それが対照学習を導いてそれらの貧弱な表現を強化する——潜在的な負のフィードバックループである。EMフレームワークはこれを緩和するが、リスクを排除しない。将来の研究では、協調フィルタリングに使用される変分オートエンコーダ (VAE) に類似した、よりベイジアンまたは変分アプローチを意図モデリングに探求し、対照目的と統合することが考えられる。もう一つの方向性は、弱い教師信号やサイド情報（例：製品カテゴリ、ユーザーデモグラフィック）を組み込んで意図発見プロセスを「種付け」または正則化し、クラスタをより解釈可能で実用的にすることである。これは、知識グラフが推薦セマンティクスを強化するために使用される方法に似ている。
最終的に、ICLは、潜在的な意味的構造をSSLパイプラインに注入することが強力な方向性であることを実証している。これは、分野をシーケンス類似性の学習から、より高いレベルの抽象化であり、おそらくより転送可能でロバストである意図類似性の学習へと移行させる。このパラダイムシフトは、推薦システムだけでなく、根本的な目標や状態が観測されないあらゆる逐次意思決定モデルに影響を与える可能性がある。
短期的応用：
将来の研究方向性：