Kujifunza Kwa Kulinganisha Nia kwa Mapendekezo Yanayofuatana: Uchambuzi na Ufahamu

1. Utangulizi & Muhtasari

Mapendekezo Yanayofuatana (SR) yanalenga kutabiri mwingiliano unaofuata wa mtumiaji kulingana na mlolongo wa tabia zake za kihistoria. Ingawa miundo ya kina ya kujifunza kama SASRec na BERT4Rec imepata matokeo ya hali ya juu, mara nyingi hupuuza kipengele muhimu: nia za fumbo za watumiaji. Vitendo vya watumiaji (k.m., kununua vifaa vya uvuvi, kuvinjari zawadi za likizo) vinachochewa na malengo ya msingi yasiyoonekana. Karatasi "Kujifunza Kwa Kulinganisha Nia kwa Mapendekezo Yanayofuatana" (ICL) inadai kuwa kuunda na kutumia nia hizi kwa uwazi kunaweza kuboresha kwa kiasi kikubwa usahihi na uthabiti wa mapendekezo.

Changamoto kuu ni kwamba nia haziwezi kutambuliwa moja kwa moja. ICL inashughulikia hili kwa kuanzisha mfumo mpya wa kujifunza kwa kujidhibiti ambao hujifunza pamoja usambazaji wa nia za fumbo na kuongeza ufanisi wa muundo wa SR. Njia hiyo hubadilishana kati ya kusanya vikundi vya milolongo ya tabia ili kukisia nia na kutumia kujifunza kwa kulinganisha ili kuunganisha uwakilishi wa mlolongo na nia zilizokisiwa, yote ndani ya mfumo wa Matarajio-Uboreshaji (EM).

2. Njia: Kujifunza Kwa Kulinganisha Nia (ICL)

ICL ni mfumo wa jumla wa kujifunza ambao unaweza kuunganishwa na miundo mbalimbali ya msingi ya SR (k.m., GRU, Transformer).

2.1 Uundaji wa Tatizo

Kwa kuzingatia mtumiaji $u$ na mlolongo wa mwingiliano $S^u = [v_1^u, v_2^u, ..., v_t^u]$, lengo ni kutabiri kipengee kinachofuata $v_{t+1}^u$. ICL inaanzisha tofauti ya nia ya fumbo $z$ kwa kila mlolongo, inayowakilisha lengo la msingi linalochochea mwingiliano.

2.2 Uundaji wa Nia za Fumbo Kupitia Kusanya Vikundi

Kwa kuwa nia hazina lebo, ICL hutumia kusanya vikundi kwenye uwakilishi wa mlolongo ili kukadiria aina za nia. Acha $h^u$ iwe uwakilishi wa mlolongo kutoka kwa kipakiaji cha SR. Algorithm ya kusanya vikundi (k.m., K-means) humgawia kila mlolongo kikundi $c$, ambacho hutumika kama mbadala wa nia yake $z$. Usambazaji wa mgawo wa kikundi $p(c|S^u)$ unaundwa.

2.3 Kujifunza Kwa Kujidhibiti Kwa Kulinganisha

Hii ndiyo kiini cha ICL. Kwa mlolongo $S^u$, mitazamo miwili inayohusiana ($S^{u,1}$, $S^{u,2}$) huundwa kupitia uimarishaji wa data (k.m., kufunika, kukata). Zote mbili hupakiwa na kugawiwa kwenye vikundi ($c^1$, $c^2$). Hasara ya kulinganisha inalenga kuvuta karibu uwakilishi wa mitazamo miwili ya mlolongo mmoja huku ikizisukuma mbali na mitazamo ya milolongo mingine, kulingana na nia zao.

Hasara ya kulinganisha yenye ufahamu wa nia inaweza kuundwa kama: $$\mathcal{L}_{ICL} = -\log \frac{\exp(\text{sim}(h^{u,1}, h^{u,2}) / \tau)}{\sum_{k \in \mathcal{B}} \mathbb{1}_{[c^k = c^u]} \exp(\text{sim}(h^{u,1}, h^{k}) / \tau)}$$ ambapo $\text{sim}$ ni kitendakazi cha kufanana (k.m., kosini), $\tau$ ni kigezo cha joto, na $\mathcal{B}$ ni kundi. Kitendakazi cha kiashiria $\mathbb{1}_{[c^k = c^u]}$ kinazingatia sampuli hasi kwenye milolongo yenye nia sawa, na kuunda kazi ngumu zaidi na yenye taarifa zaidi ya kulinganisha.

2.4 Mafunzo Kupitia Mfumo wa Jumla wa EM

Mafunzo hubadilishana kati ya hatua mbili kwa namna inayofanana na EM:

1. Hatua ya E (Ukisi wa Nia): Weka vigezo vya muundo wa SR, hesabu uwakilishi wa mlolongo, na fanya kusanya vikundi ili kusasisha mgawo wa nia $p(c|S^u)$.
2. Hatua ya M (Uboreshaji wa Muundo): Weka mgawo wa nia, na uboreshe vigezo vya muundo wa SR kwa kutumia hasara iliyounganishwa: $\mathcal{L} = \mathcal{L}_{SR} + \lambda \mathcal{L}_{ICL}$, ambapo $\mathcal{L}_{SR}$ ndiyo hasara kuu ya mapendekezo (k.m., msalaba-entropi) na $\lambda$ inadhibiti uzito wa hasara ya kulinganisha.

3. Maelezo ya Kiufundi & Uundaji wa Kihisabati

Kazi ya lengo ya jumla ya ICL ni: $$\mathcal{L}_{total} = \underbrace{-\sum_{u} \log P(v_{t+1}^u | S^u)}_{\text{Hasara ya Utabiri wa Kipengee Kifuatacho}} + \lambda \underbrace{\mathcal{L}_{ICL}}_{\text{Hasara ya Kulinganisha Nia}}$$ Kusanya vikundi katika hatua ya E kunaweza kuonekana kama kuongeza uwezekano wa muundo wa tofauti ya fumbo $p(S^u, c)$. Hasara ya kulinganisha katika hatua ya M hufanya kama kirafiki kinacholazimisha uthabiti wa nia, na kusababisha uwakilishi ambao haubadiliki kwa kelele ndani ya kikundi kimoja cha nia—dhana inayofanana na kanuni ya kutobadilika katika fasihi ya kujifunza kwa kulinganisha kama SimCLR na MoCo.

4. Matokeo ya Majaribio & Uchambuzi

Karatasi hiyo inathibitisha ICL kwenye hifadhidata nne za ulimwengu halisi: Beauty, Sports, Toys, na Yelp.

4.1 Hifadhidata na Viwango vya Msingi

Viwango vya msingi vinajumuisha njia za kitamaduni (BPR-MF), zinazofuatana (GRU4Rec, SASRec, BERT4Rec), na njia za kujifunza kwa kulinganisha (CL4SRec). ICL inatumika juu ya miundo ya msingi ya SASRec na BERT4Rec.

4.2 Ulinganisho wa Utendaji

ICL inashinda kila wakati viwango vyote vya msingi katika vipimo vya Recall@N na NDCG@N. Kwa mfano, kwenye hifadhidata ya Beauty, ICL (BERT4Rec) iliboresha Recall@20 kwa takriban 8% kuliko BERT4Rec ya kawaida. Hii inaonyesha faida ya jumla ya kujumuisha uundaji wa nia.

4.3 Uchambuzi wa Uthabiti

Dai kuu ni uthabiti ulioboreshwa. Majaribio chini ya uchache wa data (kutumia milolongo mifupi) na mwingiliano wenye kelele (kubadilisha vipengee kwa nasibu) yanaonyesha ICL hupungua kwa utaratibu zaidi kuliko viwango vya msingi. Kusanya vikundi vya nia hutoa ishara ya kudumisha, na kuruhusu muundo kutegemea muundo wa nia ulioshirikishwa badala ya uhusiano wa uwongo katika data iliyofifia/iliyo na kelele.

4.4 Uchunguzi wa Kujitenga

Uchunguzi wa kujitenga unathibitisha hitaji la vipengee vyote viwili:

• Bila Kusanya Vikundi: Kutumia nia za nasibu au zilizowekwa huumiza utendaji, na kuthibitisha hitaji la ugunduzi wa nia wenye maana.
• Bila Hasara ya Kulinganisha: Kutumia tu vitambulisho vya kikundi kama vipengee havifai kama uunganishaji wa kulinganisha, na kuangazia umuhimu wa lengo la kujifunza uwakilishi.
• Athari ya $\lambda$: Utendaji hufikia kilele kwenye $\lambda$ ya wastani, ikionyesha usawa kati ya kujifunza maalum kwa kazi na kujifunza kwa ufahamu wa nia.

5. Mfumo wa Uchambuzi: Ufahamu Mkuu & Mtiririko wa Mantiki

Ufahamu Mkuu: Mafanikio ya karatasi hii sio usanifu mpya wa neva, bali ni mfumo wa kujifunza. Inatambua kwa usahihi kwamba doa la utata la SR ya kisasa ni upofu wake kwa "kwanini" nyuma ya vitendo vya watumiaji. Kwa kuunda nia kama tofauti ya fumbo na kutumia zana rahisi lakini zenye nguvu za kusanya vikundi na kujifunza kwa kulinganisha, ICL huingiza muundo wa maana kwenye kile ambacho kingekuwa tu mechi ya muundo kwenye milolongo. Hii inakumbusha jinsi karatasi ya CycleGAN ilianzisha uthabiti wa mzunguko ili kuwezesha tafsiri ya picha isiyo na jozi—ni kizuizi cha dhana kinachoongoza kujifunza ambapo hakuna usimamizi wa moja kwa moja.

Mtiririko wa Mantiki: Hoja ni ya kulazimisha na iliyoundwa vizuri: 1) Angalia kwamba tabia ya mtumiaji inaongozwa na nia (Mchoro 1). 2) Kubali kwamba nia ni za fumbo. 3) Pendekeza kuzigundua kupitia kusanya vikundi kwenye tabia (wakala unaofaa). 4) Tumia nia zilizogunduliwa kuunda kazi ngumu zaidi ya kujifunza kwa kulinganisha—badala ya kulinganisha hasi zote sawasawa, zingatia hasi ngumu ndani ya kikundi kimoja cha nia. 5) Ingiza hii ndani ya kitanzi cha EM kwa uboreshaji wa kurudia. Mtiririko kutoka utambuzi wa tatizo hadi usanifu wa suluhisho ni safi na wa kimantiki.

6. Nguvu, Kasoro na Ufahamu Unaoweza Kutekelezwa

Nguvu:

• Mfumo Badala ya Usanifu: Asili yake ya kuziba-na-kucheza na miundo ya kisasa ya SOTA (SASRec, BERT4Rec) ni nguvu kuu kwa kupitishwa rahisi.
• Ufanisi wa Data: Faida za uthabiti zinashughulikia moja kwa moja masuala ya gharama kubwa ya ulimwengu halisi kama kuanza baridi na hati za kelele.
• Uzuri wa Dhana: Inaunganisha miundo ya tofauti ya fumbo (ya kawaida katika mapendekezo ya kitamaduni) na kujifunza kwa kina kisasa kwa kujidhibiti.

Kasoro & Ukosoaji:

• Dhana ya Nia Tuli: Kusanya vikundi humgawia mlolongo mzima nia moja. Kwa kweli, nia zinaweza kubadilika katikati ya kipindi (k.m., kutoka "utafiti" hadi "ununuzi"). Muundo hauna uundaji wa kina wa nia kwa wakati.
• Kizuizi cha Ubora wa Kikundi: Mfumo mzima unategemea ubora wa kusanya vikundi bila usimamizi. Vikundi vyenye kelele au visivyo bora vinaweza kueneza makosa. Karatasi hutumia K-means; njia za hali ya juu zaidi (k.m., Miundo Mchanganyiko ya Gaussian, kusanya vikundi vya kina) zinaweza kuchunguzwa.
• Mshahara wa Kihesabu: Mafunzo ya kurudia ya EM na kusanya vikundi mtandaoni huongeza gharama isiyo ya kawaida ya kihesabu ikilinganishwa na mafunzo ya kawaida ya mwisho-hadi-mwisho.

Ufahamu Unaoweza Kutekelezwa kwa Watendaji:

1. Tekeleza ICL kama Kirafiki: Unapokabiliwa na data iliyofifia au yenye kelele, tumia hasara ya kulinganisha ya ICL kama kirafiki juu ya muundo wako uliopo wa SR. Anza na $\lambda$ ndogo.
2. Fuatilia Ushikamano wa Kikundi: Usichukue kusanya vikundi kama sanduku nyeusi. Tathmini ushikamano wa kikundi (k.m., kupitia alama ya silhouette) kwenye seti ya kujihifadhi ili kuhakikisha "nia" zilizogunduliwa zina maana.
3. Chunguza Nia ya Kimuundo: Kwa vikao virefu au ngumu, jaribu kugawa milolongo kabla ya kusanya vikundi au kutumia utaratibu wa umakini kupima uzito wa vipengee kulingana na uhusiano wa nia uliokisiwa.

7. Mtazamo wa Matumizi na Mwelekeo wa Baadaye

Matumizi ya Muda Mfupi:

• Biashara ya Elektroniki & Rejareja: Inatumika moja kwa moja kwa mapendekezo ya bidhaa inayofuata, uchambuzi wa kikapu, na kuboresha mapendekezo katika hali mpya za watumiaji/kuanza baridi.
• Utiririshaji wa Maudhui: Kuunda "nia" za kutazama (k.m., "kelele ya nyuma," "kujifunza kwa kina," "usiku wa sinema ya familia") kunaweza kuboresha orodha ya kucheza na mapendekezo ya video inayofuata kwenye majukwaa kama Netflix au YouTube.

Mwelekeo wa Utafiti wa Baadaye:

• Nia za Kihierarkia & za Kimuundo: Kuhamia kutoka kwa nia moja ya kiwango cha mlolongo hadi safu ya nia au kuunda mpito wa nia ndani ya kipindi.
• Ujumuishaji na Taarifa za Ziada: Wakati ICL inaepuka taarifa za ziada, kuiunganisha na ishara dhaifu (k.m., aina za vipengee, wakati wa siku) kunaweza kuanzisha na kuboresha ugunduzi wa nia.
• Msingi wa Kinadharia: Uchambuzi rasmi wa sifa za muunganiko wa utaratibu wa jumla wa EM na mipaka ya jumla ya hasara ya kulinganisha yenye ufahamu wa nia.
• Uhamishaji wa Nia Kupitia Nyanja: Kuchunguza ikiwa nia zilizojifunza katika nyanja moja (k.m., ununuzi) zinaweza kuelimisha au kuhamishwa hadi nyingine (k.m., mapendekezo ya habari).

8. Marejeo

1. Chen, Y., Liu, Z., Li, J., McAuley, J., & Xiong, C. (2022). Intent Contrastive Learning for Sequential Recommendation. Proceedings of the ACM Web Conference 2022 (WWW '22).
2. Kang, W. C., & McAuley, J. (2018). Self-attentive sequential recommendation. 2018 IEEE International Conference on Data Mining (ICDM).
3. Sun, F., Liu, J., Wu, J., Pei, C., Lin, X., Ou, W., & Jiang, P. (2019). BERT4Rec: Sequential recommendation with bidirectional encoder representations from transformer. Proceedings of the 28th ACM International Conference on Information and Knowledge Management.
4. Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A simple framework for contrastive learning of visual representations. International conference on machine learning (ICML).
5. Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. Proceedings of the IEEE international conference on computer vision (ICCV).
6. Xie, J., Girshick, R., & Farhadi, A. (2016). Unsupervised deep embedding for clustering analysis. International conference on machine learning (ICML).