یادگیری متضاد مبتنی بر قصد برای توصیه‌گر ترتیبی (ICLRec)

1. مقدمه

توصیه‌گر ترتیبی (SR) هدفش پیش‌بینی تعامل بعدی کاربر بر اساس دنباله رفتار تاریخی اوست. در حالی که مدل‌های یادگیری عمیق به عملکردی در سطح پیشرفته دست یافته‌اند، اغلب قصدهای پنهان زیربنایی محرک رفتار کاربر (مانند "خرید لوازم ماهیگیری"، "آماده‌سازی برای تعطیلات") را نادیده می‌گیرند. این قصدها مشاهده‌نشده هستند اما برای درک انگیزه کاربر و بهبود دقت و استحکام توصیه‌گر، به ویژه در سناریوهای داده‌های پراکنده یا پُرنویز، حیاتی هستند.

این مقاله یادگیری متضاد مبتنی بر قصد (ICL) را معرفی می‌کند، یک پارادایم نوین که یک متغیر قصد پنهان را در مدل‌های SR تزریق می‌کند. ایده اصلی، یادگیری توزیع‌های قصد کاربر از دنباله‌های بدون برچسب و بهینه‌سازی مدل SR با استفاده از یادگیری خودنظارتی متضاد است، به گونه‌ای که نماهای دنباله با قصدهای متناظرشان هم‌تراز شوند.

2. پیشینه و کارهای مرتبط

2.1 توصیه‌گر ترتیبی

مدل‌هایی مانند GRU4Rec، SASRec و BERT4Rec پویایی‌های زمانی را ثبت می‌کنند اما معمولاً رفتار را به عنوان یک دنباله مستقیم از آیتم‌ها مدل می‌کنند و سیگنال‌های قصد مرتبه بالاتر را از دست می‌دهند.

2.2 مدل‌سازی قصد

مدل‌های آگاه از قصد قبلی اغلب به اطلاعات جانبی صریح (مانند پرس‌وجوها، دسته‌بندی‌ها) متکی هستند. ICL با یادگیری قصدها مستقیماً از دنباله‌های رفتار ضمنی، نوآوری می‌کند.

2.3 یادگیری متضاد

با الهام از موفقیت‌ها در بینایی کامپیوتر (مانند SimCLR، MoCo) و پردازش زبان طبیعی، یادگیری متضاد توافق بین نماهای تقویت‌شده متفاوت از داده یکسان را بیشینه می‌کند. ICL این مفهوم را برای هم‌ترازی دنباله‌های رفتاری با قصدهای پنهانشان تطبیق می‌دهد.

3. روش‌شناسی: یادگیری متضاد مبتنی بر قصد (ICL)

3.1 صورتبندی مسئله

با داشتن یک کاربر $u$ با دنباله تعامل $S^u = [v_1^u, v_2^u, ..., v_t^u]$، هدف پیش‌بینی آیتم بعدی $v_{t+1}^u$ است. ICL یک متغیر قصد پنهان $z$ را برای توضیح دنباله معرفی می‌کند.

3.2 متغیر قصد پنهان

قصد $z$ به عنوان یک متغیر رسته‌ای مدل می‌شود که نشان‌دهنده انگیزه زیربنایی برای دنباله است. مدل یک توزیع $p(z | S^u)$ را یاد می‌گیرد.

3.3 یادگیری توزیع قصد از طریق خوشه‌بندی

بازنمایی‌های دنباله کاربر خوشه‌بندی می‌شوند (مثلاً با استفاده از K-means) تا $K$ نمونه اولیه قصد پنهان کشف شود. مرکز هر خوشه نشان‌دهنده یک قصد است.

3.4 یادگیری خودنظارتی متضاد

سیگنال یادگیری اصلی از یک تابع زیان متضاد می‌آید. برای یک دنباله $S$، دو نمای تقویت‌شده ($S_i$، $S_j$) ایجاد می‌شوند. مدل آموزش می‌بیند تا بازنمایی یک دنباله و بازنمایی خوشه قصد تخصیص‌یافته آن را به هم نزدیک‌تر کند، در حالی که آن را از قصدهای دیگر دور می‌کند. تابع زیان متضاد برای یک جفت مثبت (دنباله، قصد آن) بر اساس تابع زیان InfoNCE است:

$\mathcal{L}_{cont} = -\log \frac{\exp(\text{sim}(f(S), g(z)) / \tau)}{\sum_{z' \in \mathcal{Z}} \exp(\text{sim}(f(S), g(z')) / \tau)}$

که در آن $f$ کدگذار دنباله، $g$ تابع تعبیه قصد، $\text{sim}$ یک تابع شباهت (مانند کسینوس) و $\tau$ یک پارامتر دما است.

3.5 آموزش از طریق چارچوب EM تعمیم‌یافته

آموزش بین دو گام در یک چارچوب امید ریاضی-بیشینه‌سازی (EM) تعمیم‌یافته متناوب می‌شود:

1. گام E (استنتاج قصد): توزیع پسین قصد پنهان $z$ را برای هر دنباله با توجه به پارامترهای فعلی مدل تخمین بزنید.
2. گام M (به‌روزرسانی مدل): پارامترهای مدل SR را با بیشینه‌سازی امید لگ-درست‌نمایی، که شامل تابع زیان استاندارد پیش‌بینی آیتم بعدی و تابع زیان متضاد $\mathcal{L}_{cont}$ است، به‌روز کنید.

این فرآیند تکراری هم درک قصد و هم کیفیت توصیه را بهبود می‌بخشد.

4. آزمایش‌ها و نتایج

4.1 مجموعه‌داده‌ها و مدل‌های پایه

آزمایش‌ها بر روی چهار مجموعه‌داده دنیای واقعی انجام شد: Beauty, Sports, Toys و Yelp. مدل‌های پایه شامل مدل‌های پیشرفته SR (SASRec, BERT4Rec) و روش‌های خودنظارتی (CL4SRec) بودند.

4.2 مقایسه عملکرد

ICL بهبودهای قابل توجهی در معیارهای Recall و NDCG به دست آورد (مثلاً +5.2% NDCG@10 در Beauty نسبت به بهترین مدل پایه)، که اثربخشی مدل‌سازی قصد پنهان را نشان می‌دهد.

4.3 تحلیل استحکام

یک دستاورد کلیدی، بهبود استحکام است. ICL تحت شرایط پراکندگی داده (با استفاده از دنباله‌های کوتاه‌تر) و در حضور تعاملات پُرنویز (آیتم‌های نامربوط به طور تصادفی درج شده) عملکرد برتری نشان داد. یادگیری متضاد در سطح قصد، یک سیگنال تثبیت‌کننده ارائه می‌دهد که به آیتم‌های پُرنویز منفرد حساسیت کمتری دارد.

4.4 مطالعات حذفی

مطالعات حذفی ضرورت هر دو مؤلفه را تأیید کرد: (1) حذف تابع زیان متضاد منجر به افت قابل توجهی شد، و (2) استفاده از قصدهای ثابت/تصادفی به جای قصدهای یادگرفته‌شده نیز به عملکرد آسیب زد، که طراحی یادگیری مشترک قصد و هم‌ترازی متضاد را تأیید می‌کند.

5. بینش‌های کلیدی و تحلیل

بینش اصلی: پیشرفت بنیادی مقاله صرفاً یک ترفند متضاد دیگر نیست؛ بلکه معرفی مجدد صوری مدل‌سازی متغیر پنهان در توصیه‌گرهای ترتیبی عمیق مدرن است. در حالی که مدل‌هایی مانند SASRec یادگیرنده‌های دنباله قدرتمندی هستند، اساساً «جعبه‌سیاه»های خودرگرسیون‌گر هستند. نبوغ ICL در این است که مدل را مجبور می‌کند تا دنباله را از طریق یک قصد پنهان گسسته و تفسیرپذیر $z$ توضیح دهد، که یک گلوگاه ایجاد می‌کند تا نویز فیلتر شود و «چرایی» پشت «چیستی» ثبت شود. این یادآور تغییر فلسفی در مدل‌های مولد مانند VAEها است، اما به صورت تمایزی برای توصیه‌گر به کار گرفته شده است.

جریان منطقی: روش‌شناسی به زیبایی ساده است. 1) دنباله‌ها را خوشه‌بندی کنید تا نمونه‌های اولیه قصد به دست آید (نماینده گام E). 2) از این نمونه‌های اولیه به عنوان لنگر برای یک تابع زیان متضاد استفاده کنید. 3) تابع زیان متضاد، کدگذار دنباله را نظم می‌دهد تا بازنمایی‌هایی تولید کند که با این لنگرهای معنایی هم‌تراز باشند. 4) این هم‌ترازی به نوبه خود خوشه‌ها و هدف کلی توصیه‌گر را بهبود می‌بخشد. این یک چرخه فضیلت‌آمیز از یادگیری بازنمایی و خوشه‌بندی است که توسط چارچوب EM تثبیت شده است—یک ایده کلاسیک که با یادگیری متضاد مدرن قدرتمند شده است.

نقاط قوت و ضعف: نقطه قوت اصلی استحکام است که به صورت تجربی نشان داده شده است. با یادگیری در سطح قصد، مدل در برابر پراکندگی و نویز کمتر شکننده می‌شود—یک نقص بحرانی در بسیاری از توصیه‌گرهای عمیق با پارامتر بیش از حد. چارچوب همچنین نسبت به معماری پایه SR بی‌تفاوت است. با این حال، نقص اصلی فرض قصد ایستا است. مدل فرض می‌کند که هر دنباله یک قصد پنهان منفرد دارد، اما در واقعیت، نشست‌های کاربر می‌توانند چندوجهی باشند (مثلاً گشت‌زنی برای یک هدیه و برای خود). گام خوشه‌بندی همچنین پارامترهای فراوان (تعداد قصدهای K) و حساسیت بالقوه به مقداردهی اولیه را معرفی می‌کند که مقاله از آن گذر کرده است. در مقایسه با رویکردهای جداسازی قصد پویاتر در تحقیقات یادگیری تقویتی یا اکتشاف، این یک راه‌حل نسبتاً درشت‌دانه است.

بینش‌های عملی: برای متخصصان، نتیجه روشن است: ساختار تفسیرپذیر را در مدل‌های یادگیری عمیق خود تزریق کنید. فقط ترانسفورمرهای بزرگتر را به دنباله نزنید. پارادایم ICL می‌تواند فراتر از توصیه‌گر تطبیق یابد—هر وظیفه‌ای با مسیرهای کاربر (مانند پیمایش رابط کاربری، مسیرهای آموزشی) می‌تواند از یادگیری متضاد قصد پنهان بهره‌مند شود. گام بعدی فوری برای محققان باید تکامل این ایده از قصدهای منفرد و ایستا به قصدهای سلسله‌مراتبی یا ترتیبی باشد. آیا می‌توانیم مدل کنیم که قصد کاربر در طول یک نشست چگونه تکامل می‌یابد؟ علاوه بر این، ادغام این با چارچوب‌های استنتاج علّی می‌تواند اقدامات هدایت‌شده توسط قصد را از اقدامات اتفاقی جدا کند و به سمت مدل‌های ترتیبی واقعاً تفسیرپذیر و مستحکم پیش برود. انتشار کد یک مزیت قابل توجه برای تکرار و گسترش است.

6. جزئیات فنی و صورتبندی ریاضی

تابع هدف کلی، تابع زیان استاندارد پیش‌بینی آیتم بعدی (مانند آنتروپی متقاطع) را با تابع زیان متضاد قصد ترکیب می‌کند:

$\mathcal{L} = \mathcal{L}_{pred} + \lambda \mathcal{L}_{cont}$

که در آن $\lambda$ وزن جمله متضاد را کنترل می‌کند. تابع زیان پیش‌بینی $\mathcal{L}_{pred}$ به صورت زیر است:

$\mathcal{L}_{pred} = -\sum_{u} \log P(v_{t+1}^u | S_{1:t}^u, z^u)$

متغیر قصد $z$ در کدگذار دنباله ادغام شده است. برای مثال، در یک کدگذار مبتنی بر ترانسفورمر، تعبیه قصد $g(z)$ می‌تواند به عنوان یک نشانه ویژه `[INTENT]` به ابتدای دنباله آیتم اضافه شود، که به مدل اجازه می‌دهد هنگام تولید پیش‌بینی‌ها به زمینه قصد توجه کند.

7. چارچوب تحلیل: یک مثال موردی

سناریو: تحلیل نشست‌های کاربر در یک پلتفرم تجارت الکترونیک.

بدون ICL: یک مدل دنباله کاربر A را می‌بیند: ["چکمه کوهنوردی"، "بطری آب"، "انرژی بار"]. بر اساس الگوهای هم‌رویی، "کوله‌پشتی" را پیش‌بینی می‌کند.

با ICL:

1. خوشه‌بندی قصد: مدل یک خوشه قصد برای "آماده‌سازی فضای باز" یاد گرفته است. بازنمایی دنباله کاربر A به این خوشه تخصیص داده می‌شود.
2. یادگیری متضاد: در طول آموزش، بازنمایی ["چکمه کوهنوردی"، "بطری آب"، "انرژی بار"] به تعبیه قصد "آماده‌سازی فضای باز" نزدیک‌تر می‌شود.
3. پیش‌بینی بهبودیافته: در مرحله استنتاج، مدل که از قصد "آماده‌سازی فضای باز" آگاه است، ممکن است اکنون "دافع پشه" یا یک "قطب‌نما" را نیز توصیه کند—آیتم‌هایی که به شدت با قصد مرتبط هستند اما لزوماً با دنباله تاریخی دقیق مرتبط نیستند—که تعمیم‌پذیری و استحکام بهتر در برابر داده‌های پراکنده را نشان می‌دهد.

8. کاربردهای آتی و جهت‌ها

• توصیه‌گر چندحوزه‌ای و چندپلتفرمی: قصدهای پنهان (مانند "تناسب اندام") می‌توانند در بین حوزه‌ها (کالاهای ورزشی، اپلیکیشن‌های تغذیه، محتوای ویدیویی) به اشتراک گذاشته شوند و یادگیری انتقالی را ممکن سازند.
• هوش مصنوعی تفسیرپذیر (XAI): ارائه توصیه‌ها با برچسب‌های قصد ("توصیه شده زیرا به نظر می‌رسد در حال برنامه‌ریزی برای یک سفر ماهیگیری هستید") می‌تواند به طور قابل توجهی اعتماد و رضایت کاربر را افزایش دهد.
• سیستم‌های توصیه‌گر گفتگومحور: قصدها می‌توانند به عنوان پلی بین گفتگوی زبان طبیعی و توصیه آیتم عمل کنند و انسجام عامل‌های گفتگو را بهبود بخشند.
• مدل‌سازی قصد پویا: گسترش ICL برای مدل‌سازی انتقال قصد درون یک نشست منفرد (مانند از "تحقیق" به "خرید") با استفاده از فرآیندهای نقطه‌ای زمانی یا مدل‌های فضای حالت.
• ادغام با مدل‌های زبانی بزرگ (LLM): استفاده از LLMها برای تولید توصیفات متنی غنی از خوشه‌های قصد یادگرفته‌شده برای تفسیرپذیری بهتر، یا استفاده از تعبیه‌های LLM برای مقداردهی اولیه نمونه‌های اولیه قصد.

9. مراجع

1. Chen, Y., Liu, Z., Li, J., McAuley, J., & Xiong, C. (2022). Intent Contrastive Learning for Sequential Recommendation. Proceedings of the ACM Web Conference 2022 (WWW '22).
2. Kang, W. C., & McAuley, J. (2018). Self-attentive sequential recommendation. 2018 IEEE International Conference on Data Mining (ICDM).
3. Sun, F., Liu, J., Wu, J., Pei, C., Lin, X., Ou, W., & Jiang, P. (2019). BERT4Rec: Sequential recommendation with bidirectional encoder representations from transformer. Proceedings of the 28th ACM International Conference on Information and Knowledge Management.
4. Xie, X., Sun, F., Liu, Z., Wu, S., Gao, J., Zhang, J., ... & Cui, B. (2022). Contrastive learning for sequential recommendation. 2022 IEEE 38th International Conference on Data Engineering (ICDE).
5. Oord, A. v. d., Li, Y., & Vinyals, O. (2018). Representation learning with contrastive predictive coding. arXiv preprint arXiv:1807.03748.
6. Kingma, D. P., & Welling, M. (2013). Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114.
7. Jannach, D., & Jugovac, M. (2019). Measuring the business value of recommender systems. ACM Transactions on Management Information Systems (TMIS), 10(4), 1-23.