Kujifunza Kwa Kulinganisha Nia kwa Mapendekezo Yanayofuatana (ICLRec)

1. Utangulizi

Mapendekezo Yanayofuatana (SR) yanalenga kutabiri mwingiliano unaofuata wa mtumiaji kulingana na mlolongo wa tabia zake za kihistoria. Ingawa mifano ya kujifunza kina imepata utendaji wa hali ya juu, mara nyingi hupuuza nia za fumbo zinazosababisha tabia ya mtumiaji (k.m., "kununua vifaa vya uvuvi," "kujiandaa kwa likizo"). Nia hizi hazionekani lakini ni muhimu kwa kuelewa motisha ya mtumiaji na kuboresha usahihi na uthabiti wa mapendekezo, hasa katika hali za data iliyo chache au yenye kelele.

Makala hii inatangaza Kujifunza Kwa Kulinganisha Nia (ICL), mtindo mpya unaoingiza kigezo cha nia cha fumbo katika mifano ya SR. Wazo kuu ni kujifunza usambazaji wa nia za mtumiaji kutoka kwa mifuatano isiyo na lebo na kuongeza ufanisi wa mfano wa SR kwa kutumia kujifunza kwa kujidhibiti kwa kulinganisha, kusawazisha mtazamo wa mifuatano na nia zao zinazolingana.

2. Usuli & Kazi Inayohusiana

2.1 Mapendekezo Yanayofuatana

Mifano kama vile GRU4Rec, SASRec, na BERT4Rec inashika mienendo ya wakati lakini kwa kawaida huunda tabia kama mlolongo wa moja kwa moja wa vipengee, na hivyo kupoteza ishara za nia za kiwango cha juu.

2.2 Uundaji wa Nia

Mifano ya awali inayotambua nia mara nyingi hutegemea taarifa za ziada zilizo wazi (k.m., maswali, aina). ICL inavumbua kwa kujifunza nia moja kwa moja kutoka kwa mifuatano ya tabia isiyo wazi.

2.3 Kujifunza Kwa Kulinganisha

Ikivutiwa na mafanikio katika taswira ya kompyuta (k.m., SimCLR, MoCo) na NLP, kujifunza kwa kulinganisha huongeza makubaliano kati ya mtazamo tofauti ulioimarishwa wa data ile ile. ICL inarekebisha hii ili kusawazisha mifuatano ya tabia na nia zao za fumbo.

3. Mbinu: Kujifunza Kwa Kulinganisha Nia (ICL)

3.1 Uundaji wa Tatizo

Kwa kuzingatia mtumiaji $u$ na mlolongo wa mwingiliano $S^u = [v_1^u, v_2^u, ..., v_t^u]$, lengo ni kutabiri kipengee kinachofuata $v_{t+1}^u$. ICL inatangaza kigezo cha nia cha fumbo $z$ ili kuelezea mlolongo huo.

3.2 Kigezo cha Nia cha Fumbo

Nia $z$ inaundwa kama kigezo cha kikundi kinachowakilisha motisha ya msingi ya mlolongo. Mfano hujifunza usambazaji $p(z | S^u)$.

3.3 Kujifunza Usambazaji wa Nia Kupitia Kugawanya Vikundi

Uwakilishi wa mifuatano ya watumiaji hugawanywa katika vikundi (k.m., kwa kutumia K-means) ili kugundua vielelezo $K$ vya nia za fumbo. Kituo cha kila kikundi kinawakilisha nia moja.

3.4 Kujifunza Kwa Kujidhibiti Kwa Kulinganisha

Ishara kuu ya kujifunza inatoka kwa hasara ya kulinganisha. Kwa mlolongo $S$, mtazamo mbili ulioimarishwa ($S_i$, $S_j$) huundwa. Mfano hufunzwa kuvuta uwakilishi wa mlolongo na uwakilishi wa kikundi chake cha nia kilichopangiwa karibu pamoja, huku ukisukuma mbali na nia zingine. Hasara ya kulinganisha kwa jozi chanya (mlolongo, nia yake) inategemea hasara ya InfoNCE:

$\mathcal{L}_{cont} = -\log \frac{\exp(\text{sim}(f(S), g(z)) / \tau)}{\sum_{z' \in \mathcal{Z}} \exp(\text{sim}(f(S), g(z')) / \tau)}$

ambapo $f$ ni kiwakilishi cha mlolongo, $g$ ni utendaji wa kuambatisha nia, $\text{sim}$ ni utendaji wa kufanana (k.m., cosine), na $\tau$ ni kigezo cha joto.

3.5 Mafunzo Kupitia Mfumo wa EM Uliojumuishwa

Mafunzo hubadilishana kati ya hatua mbili ndani ya mfumo wa Matarajio-Upeo Uliojumuishwa (EM):

1. Hatua ya E (Uamuzi wa Nia): Kadiria usambazaji wa baada ya nia ya fumbo $z$ kwa kila mlolongo kwa kuzingatia vigezo vya sasa vya mfano.
2. Hatua ya M (Sasisho la Mfano): Sasisha vigezo vya mfano wa SR kwa kuongeza upeo wa uwezekano wa logi unaotarajiwa, ambao unajumuisha hasara ya kawaida ya utabiri wa kipengee kinachofuata na hasara ya kulinganisha $\mathcal{L}_{cont}$.

Mchakato huu wa kurudia huboresha uelewa wa nia na ubora wa mapendekezo.

4. Majaribio & Matokeo

4.1 Hifadhidata na Misingi ya Kulinganisha

Majaribio yalifanywa kwenye hifadhidata nne za ulimwengu halisi: Beauty, Sports, Toys, na Yelp. Misingi ya kulinganisha ilijumuisha mifano ya kisasa ya SR (SASRec, BERT4Rec) na mbinu za kujidhibiti (CL4SRec).

4.2 Ulinganisho wa Utendaji

ICL ilipata maboresho makubwa katika vipimo vya Kukumbuka na NDCG (k.m., +5.2% NDCG@10 kwenye Beauty ikilinganishwa na msingi bora zaidi), ikionyesha ufanisi wa uundaji wa nia za fumbo.

4.3 Uchambuzi wa Uthabiti

Mchango mkuu ni uthabiti ulioboreshwa. ICL ilionyesha utendaji bora chini ya uhaba wa data (kwa kutumia mifuatano mifupi) na kuwepo kwa mwingiliano wenye kelele (vipengee visivyohusika vilivyowekwa bila mpangilio). Kujifunza kwa kulinganisha kwa kiwango cha nia hutoa ishara ya kudumisha ambayo haihisi sana vipengele vya kelele binafsi.

4.4 Uchambuzi wa Uondoaji

Uchambuzi wa uondoaji ulithibitisha umuhimu wa vipengele vyote viwili: (1) kuondoa hasara ya kulinganisha kulisababisha kushuka kwa kiwango kikubwa, na (2) kutumia nia zilizowekwa/bila mpangilio badala ya zile zilizojifunza pia kiliharibu utendaji, ikithibitisha muundo wa kujifunza nia pamoja na usawazishaji wa kulinganisha.

5. Ufahamu Muhimu & Uchambuzi

Ufahamu Mkuu: Uvumbuzi wa msingi wa makala hii sio hila nyingine ya kulinganisha tu; ni kurejeshwa rasmi kwa uundaji wa vigezo vya fumbo katika wapendekezi wa kisasa wa kina wanaofuatana. Ingawa mifano kama SASRec ni wafunzi wenye nguvu wa mifuatano, kimsingi ni "masanduku meusi" ya kujitabiri. Ujanja wa ICL upo katika kulazimisha mfano kuelezea mlolongo kupitia nia ya fumbo, inayoweza kufafanuliwa, $z$, na kuunda kizuizi kinachochuja kelele na kushika "kwa nini" nyuma ya "nini." Hii inakumbusha mabadiliko ya kifalsafa katika mifano ya kuzalisha kama VAEs, lakini inatumiwa kwa njia ya ubaguzi kwa mapendekezo.

Mtiririko wa Kimantiki: Mbinu hiyo ni rahisi kwa ustadi. 1) Gawanya mifuatano katika vikundi ili kupata vielelezo vya nia (wakala wa hatua ya E). 2) Tumia vielelezo hivi kama vikokotoo kwa hasara ya kulinganisha. 3) Hasara ya kulinganisha hudhibiti kiwakilishi cha mlolongo ili kutoa uwakilishi uliosawazishwa na vikokotoo hivi vya maana. 4) Usawazishaji huu, kwa upande wake, huboresha vikundi na lengo la jumla la mapendekezo. Ni mzunguko mzuri wa kujifunza uwakilishi na kugawanya vikundi, uliodumishwa na mfumo wa EM—wazo la kawaida lililofanywa kuwa lenye nguvu na kujifunza kisasa kwa kulinganisha.

Nguvu & Kasoro: Nguvu kuu ni uthabiti ulioonyeshwa kwa majaribio. Kwa kujifunza kwa kiwango cha nia, mfano unakuwa dhaifu kidogo kwa uhahani na kelele—kasoro muhimu katika wapendekezi wengi wa kina wenye vigezo vingi. Mfumo pia haujali muundo wa msingi wa SR. Hata hivyo, kasoro kuu ni dhana ya nia tuli. Mfano unadhani nia moja ya fumbo kwa kila mlolongo, lakini kwa kweli, vikao vya mtumiaji vinaweza kuwa na pande nyingi (k.m., kuvinjari kwa ajili ya zawadi na kwa ajili yake mwenyewe). Hatua ya kugawanya vikundi pia huleta vigezo vya juu (idadi ya nia K) na uwezekano wa kuhisi uanzishaji, ambao makala hiyo haijazungumzia. Ikilinganishwa na mbinu za kutatua nia zinazobadilika zaidi katika utafiti wa RL au uchunguzi, huu ni suluhisho lenye ukubwa mkubwa.

Ufahamu Unaoweza Kutekelezwa: Kwa wataalamu, hitimisho ni wazi: Ingiza muundo unaoweza kufafanuliwa katika mifano yako ya kujifunza kina. Usitupie tu vigeu vikubwa zaidi kwenye mlolongo. Mtindo wa ICL unaweza kubadilishwa zaidi ya mapendekezo—kazi yoyote iliyo na njia za mtumiaji (k.m., urambazaji wa UI, njia za kielimu) inaweza kufaidika na kujifunza kwa kulinganisha nia za fumbo. Hatua inayofuata ya haraka kwa watafiti inapaswa kuwa kukuza hii kutoka kwa nia moja, tuli hadi nia za kihierarkia au zinazofuatana. Je, tunaweza kuunda jinsi nia ya mtumiaji inavyobadilika wakati wa kikao? Zaidi ya hayo, kuunganisha hii na mifumo ya uhakiki wa sababu kunaweza kutenganisha vitendo vinavyosababishwa na nia na vile visivyo na mpangilio, na kusukuma kuelekea mifano ya mifuatano inayoweza kufafanuliwa na yenye uthabiti. Utoaji wa msimbo ni faida kubwa kwa kurudia na kupanua.

6. Maelezo ya Kiufundi & Uundaji wa Kihisabati

Lengo la jumla la utendaji linaunganisha hasara ya kawaida ya utabiri wa kipengee kinachofuata (k.m., msalaba-entropy) na hasara ya kulinganisha nia:

$\mathcal{L} = \mathcal{L}_{pred} + \lambda \mathcal{L}_{cont}$

Ambapo $\lambda$ inadhibiti uzito wa neno la kulinganisha. Hasara ya utabiri $\mathcal{L}_{pred}$ ni:

$\mathcal{L}_{pred} = -\sum_{u} \log P(v_{t+1}^u | S_{1:t}^u, z^u)$

Kigezo cha nia $z$ kimejumuishwa kwenye kiwakilishi cha mlolongo. Kwa mfano, katika kiwakilishi cha msingi wa kibadilishaji, kuambatisha nia $g(z)$ kunaweza kuwekwa mbele kama ishara maalum ya `[INTENT]` kwenye mlolongo wa vipengee, na kuruhusu mfano kushughulikia muktadha wa nia wakati wa kutoa utabiri.

7. Mfumo wa Uchambuzi: Mfano wa Kesi

Hali: Kuchambua vikao vya watumiaji kwenye jukwaa la biashara ya elektroniki.

Bila ICL: Mfano unaona mlolongo wa Mtumiaji A: ["viatu vya kutembea milimani", "chupa ya maji", "bati la nguvu"]. Inatabiri "mkoba wa mgongo" kulingana na muundo wa kutokea pamoja.

Kwa ICL:

1. Kugawanya Vikundi vya Nia: Mfano umejifunza kikundi cha nia cha "Maandalizi ya Nje." Uwakilishi wa mlolongo wa Mtumiaji A umepangiwa kwenye kikundi hiki.
2. Kujifunza Kwa Kulinganisha: Wakati wa mafunzo, uwakilishi wa ["viatu vya kutembea milimani", "chupa ya maji", "bati la nguvu"] unavutwa karibu na kuambatisha nia ya "Maandalizi ya Nje."
3. Utabiri Ulioimarishwa: Wakati wa kuhitimisha, mfano, ukijua nia ya "Maandalizi ya Nje," sasa unaweza pia kupendekeza "dawa ya mbu" au "dira"—vipengee vinavyohusishwa sana na nia hiyo lakini si lazima na mlolongo halisi wa kihistoria—na kuonyesha ujumuishaji bora na uthabiti kwa data iliyo chache.

8. Matumizi ya Baadaye & Mwelekeo

• Mapendekezo ya Nyanja Nyingi & Kuvuka Majukwaa: Nia za fumbo (k.m., "mazoezi") zinaweza kushirikiwa kwenye nyanja mbalimbali (bidhaa za michezo, programu za lishe, maudhui ya video), na kuwezesha uhamishaji wa ujifunzaji.
• AI Inayoweza Kufafanuliwa (XAI): Kutoa mapendekezo na lebo za nia ("Imependekezwa kwa sababu unaonekana kuwa unapanga safari ya uvuvi") kunaweza kuongeza kwa kiasi kikubwa imani na kuridhika kwa mtumiaji.
• Mifumo ya Wapendekezi wa Mazungumzo: Nia zinaweza kutumika kama daraja kati ya mazungumzo ya lugha asilia na mapendekezo ya vipengee, na kuboresha mwafaka wa wakala wa mazungumzo.
• Uundaji wa Nia Unaobadilika: Kupanua ICL ili kuunda mabadiliko ya nia ndani ya kikao kimoja (k.m., kutoka "utafiti" hadi "ununuzi") kwa kutumia michakato ya wakati au mifumo ya nafasi ya hali.
• Ujumuishaji na Mifumo Kubwa ya Lugha (LLMs): Kutumia LLMs kuzalisha maelezo ya kina, ya maandishi ya vikundi vya nia vilivyojifunzwa kwa ufafanuzi bora, au kutumia kuambatisha kwa LLM kuanzisha vielelezo vya nia.

9. Marejeo

1. Chen, Y., Liu, Z., Li, J., McAuley, J., & Xiong, C. (2022). Intent Contrastive Learning for Sequential Recommendation. Proceedings of the ACM Web Conference 2022 (WWW '22).
2. Kang, W. C., & McAuley, J. (2018). Self-attentive sequential recommendation. 2018 IEEE International Conference on Data Mining (ICDM).
3. Sun, F., Liu, J., Wu, J., Pei, C., Lin, X., Ou, W., & Jiang, P. (2019). BERT4Rec: Sequential recommendation with bidirectional encoder representations from transformer. Proceedings of the 28th ACM International Conference on Information and Knowledge Management.
4. Xie, X., Sun, F., Liu, Z., Wu, S., Gao, J., Zhang, J., ... & Cui, B. (2022). Contrastive learning for sequential recommendation. 2022 IEEE 38th International Conference on Data Engineering (ICDE).
5. Oord, A. v. d., Li, Y., & Vinyals, O. (2018). Representation learning with contrastive predictive coding. arXiv preprint arXiv:1807.03748.
6. Kingma, D. P., & Welling, M. (2013). Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114.
7. Jannach, D., & Jugovac, M. (2019). Measuring the business value of recommender systems. ACM Transactions on Management Information Systems (TMIS), 10(4), 1-23.