Elektrotehniški vestnik 78(4): 177-180, 2011 Existing separate English edition
Emotivne lastnosti latentnih faktorjev v priporočilnih sistemih za slike
Marko Tkalčič, Andrej Košir, Štefan Dobravec, Jurij Tasič
Univerza v Ljubljani, Fakulteta za elektrotehniko, Tržaška 25, 1000 Ljubljana, Slovenija E-pošta: marko.tkalcic@fe.uni-lj.si
Povzetek. V tem prispevku smo analizirali povezavo med latentnimi faktorji, ki nosijo najvec variance in emotivnimi lastnostmi teh faktorjev v bazi priporočilnega sistema za slike. S pomočjo matričnega razcepa smo poiskali dva najpomembnejša faktorja v matriki ocen. S pomočjo emotivnih oznak vsebin smo poiskali emotivne lastnosti vsebin, ki lezijo na ekstremih prvih dveh faktorjev. Rezultati so pokazali, da je prvi faktor mocno koreliran z valenco in dominanco, vzburjenje pa nima ocitne povezave s prvim faktorjem. Drugi faktor ne izkazuje relacije z nobeno od treh dimenzij emocij.
Ključne besede: priporocilni sistemi, emotivno racunalništvo, matricni razcep, latentni faktorji
Emotional properties of latent factors in an image recommender system
In this paper we analyze the relations between the latent factors with high variance description and affective parameters in an image recommender system. Using the matrix factorization approach we identify the main two factors in the user-item rating database. We exploit the affective metadata related to each item to identify relations between the main factors and the affective metadata. Results show that the first latent factor is strongly related with the valence and dominance while the arousal does not appear to be related. The second factor, however, shows no relation with the affective parameters.
1 UVOD
Priporočilni sistemi za multimedijske vsebine so sistemi, ki na podlagi poznavanja uporabnikovih nagnjenj (profil uporabnika) in poznavanja lastnosti multimedijskih vsebin (profil vsebine) predlagajo omejen nabor multimedijskih vsebin po okusu uporabnika. Ti sistemi so ze prerasli testna okolja in si utrli pot v trzne aplikacije. Spletni portal Amazon, na primer, uporablja tovrstne rešitve za priporocanje izdelkov v svoji spletni trgovini [5]. Razvoj priporocilnih sistemov poteka predvsem v dveh smereh: (i) razvoj in izboljsšava postopkov priporocšanja in (ii) iskanje znacilk, ki kar najbolje predstavijo objekte in subjekte v priporocilnih sistemih.
Prvi postopki priporocšanja so bili preprosti vsebinski (ang. content-based recommenders - CBR) [6] in skupinski (ang. collaborative filtering - CF) [1]. Nanatecaju Netflix (http://www.netflixprize.com/) pa se je izkazalo, da postopek matricšnega razcepa privede do bistveno boljsših rezultatov kot drugi pristopi v priporocšilnih sistemih [2], [3]. Trenutno pristop z uporabo matricnega
razcepa velja za najboljšega v primerih, ko je ucna mnozica dovolj velika.
Po drugi strani pa je bila predmet raziskav tudi nadgradnja profila uporabnika in profila vsebin z novimi znacilkami, ki nosijo kar najvec informacije za uspešno napoved relevantnih vsebin. Kot prve znacilke so se uporabljali genericni metapodatki, na primer zanr, igralska zasedba, reziser itn. [7], [1]. Postopki priporocanja so se hitro razvili to te mere, da so te metapodatke popolnoma izkoristili, zato so se raziskave usmerile k iskanju drugacnih znacilk, ki bi izboljšale ucinkovitost priporocšilnih sistemov. V nasših predhodnih raziskavah smo pokazali, da emotivni metapodatki pojasnijo znaten del variance v uporabniških podatkih in s tem izboljšajo uspešnost vsebinskega priporocilnega sistema [10].
Uvedba pristopa z uporabo postopka matricnega razcepa je pomenila zamenjavo predhodno cloveku razumljivih znacilk (kot je na primer zanr) z latentnimi znacilkami, ki obicajno niso cloveku razumljive. Tako se je za podatkovni nabor Netflix izkazalo, da prva la-tentna faktorja pomenita delitev glede na intelektualnost oziroma moškost/zenskost [3], [2]. Tak postopek, torej interpretacija lastnosti glavnih latentnih faktorjev, je raziskovalno zanimiv pristop, saj odpira drugacšen pogled na uporabnikova nagnjenja in njihovo modeliranje.
1.1 Predstavitev problema
Glavni cilj prispevka je raziskava lastnosti glavnih latentnih faktorjev nabora podatkov priporocšilnega sistema z vidika emocij, ki jih vsebine vzbudijo v koncnih uporabnikih. Problem, predstavljen v prispevku, temelji na dveh predpostavkah: (i) da postopek matricnega razcepa identificira glavne latentne faktorje, ki opisujejo varianco ocen, ki so jih uporabniki pripisali vsebinam, ter (ii) da se emotivni parametri vsebin (parametri, ki opisujejo emocijo, vzbujeno v uporabniku) spreminjajo
vzdolž glavnih osi, določenih z latentnimi faktorji. Na podlagi danih predpostavk želimo s pomočjo eksplana-torne faktorske analize identificirati emotivne parametre, ki predstavljajo vsebine na skrajnih koncih osi, kot je to predstavljeno v sliki 1. Gručam teh vsebin smo dodelili oznake G11, G1,2,G21 in G2.2. Rezultat je vizualizacija in interpretačija teh parametrov.
Drugi latentni faktor
Prvi latentni faktor
Zajem podatkov
j—^ Matrika j-^
O
Glavni faktorji
O
Faktorska analiza
Slika 2: Potek poskusa
2.1 Nabor podatkov
Pripravili smo polno matriko ocen (ponazorjena v tabeli 1). V postopku je sodelovalo 52 uporabnikov, oznacenih z u G {1...52}, ki so ocenili 70 slik, oznacenih z i G {1... 70}. Oceno, ki jo je uporabnik u prisodil sliki i, smo oznacili kot r(u, i) G {1... 5}. Slike
so bile izbrane iz veliko vecjega nabora slik IAPS [4], v katerem so slike oznacene z metapodatki, ki opisujejo emocijo, vzbujeno v uporabniku. Emocije smo oznacili z razširjenimi in pogosto uporabljenimi parametri: valenca (ang. valence), vzburjenje (ang. arousal) in dominanca (ang. dominance) [8]. Valenca loci emocije na pozitivne (npr. veselje) in negativne (npr. zšalost), vzburjenje opisuje intenzivnost opazovane emocije, dominanca pa ovladovanje (npr. pomirjenost) oziroma neobvladovanje (npr. mocna jeza) emocije. Vsaki sliki i je bila tako pripisano povprečje valence, vzburjenja in dominance, ki jih je vzbudila naboru uporabnikov, kot trojica vrednosti md(i) = {v, a, d}. Pri tem se nabor uporabnikov, uporabljen za izracun povprecij, razlikuje od nabora uporabnikov, ki so sliki prisodili oceno. Podrobnejše informacije o naboru podatkov so na voljo v virih [11].
i u	1	2	3		70
1	r(1,1)	r(1,2)	r(1, 3)		r(1, 70)
2	r(2, 1)	r(2,2)	r(2, 3)		r(2, 70)
3	r(3,1)	r(3,2)	r(3, 3)		r(3, 70)
					
52	r(52,1)	r(52,2)	r(52, 3)		r(52, 70)
Slika 1: Vsebine (predstavljene s trikotniki) so razpršene v prostoru, dolocenem z latentnimi faktorji. V gruce vsebin G1.1, G1.2, G2.1 in G2.2 so zdruzene vsebine na skrajnih koncih osi dveh glavnih latentnih faktorjev.
2 Poskus
Potek poskusa je prikazan na sliki 2. V fazi pridobivanja podatkov smo pripravili matriko ocen, ki so jih realni uporabniki prisodili izbranim vsebinam. S postopkom matricšnega razcepa smo nato izlocšili glavne latentne faktorje. Sledila je statisticna obdelava vsebin, ki so se nahajale na skrajnih oseh ravnine, dolocšene z dvema glavnima latentnima faktorjema.
Tabela 1: Matrika ocen vsebin: vsebuje ocene r(u,i) e {1... 5}, ki so jih uporabniki u e {1... 52}, prisodili vsebinam i e {1... 70}.
2.2 Matrični razcep
Pristop z uporabo matričnega razcepa identificira prostor latentnih faktorjev, v katerem se vhodni podatki opišejo na bolj zgošcen nacin. V našem primeru so vhodni podatki zdruZeni v matriko ocen vsebin (glej tabelo 1). Čeprav je metoda singularnih vrednosti (ang. singular value decomposition - SVD) bolj priljubljena, je za uporabo v priporocšilnih sistemih neuporabna iz dveh razlogov: (i) redke posejanosti podatkov ter (ii) velikosti prostora podatkov (veliko uporabnikov in vsebin). Zato smo glavne latentne faktorje izracunali s pogosto uporabljenim stohasticnim gradientnim postopkom (ang. stochastic gradient descent algorithm) [2], [3], [9]. Pri postopku matricnega razcepa je vsak uporabnik opisan z vektorjem latentnih faktorjev uporabnika pu, prav tako je vsaka vsebina opisana z vektorjem latentnih faktorjev vsebine qi.
Profil uporabnika, ki opisuje uporabnikova nagnjenja, je tako v obliki vektorja latentnih lastnosti pu. Vrednosti v vektorju odsevajo stopnjo uporabnikovega nagnjenja k ustrezni latentni znacilki. V podatkovnem naboru Netflix, na primer, prvi latentni faktor kaze na (ne)intelektualnost. Visoka vrednost prvega faktorja profila uporabnika bi tako pomenila nagnjenost uporabnika k intelektualnim vsebinam.
Po enakem razmisleku vrednosti v profilu vsebine qi odsevajo stopnjo prisotnosti ustrezne latentne lastnosti v dani vsebini. V podatkovnem naboru Netflix bi tako visoka vrednost prvega faktorja v profilu vsebine pomenila, da gre za intelektualno vsebino.
gručša	število vsebin v gruči
G1.1	31
G1.2	13
G2.1	15
G2.2	24
Tabela 2: Stevilo vsebin v vsaki od štirih opazovanih gruč
Vektorja imata enako dolžino F, ki pomeni število uporabljenih značilk. Naloga priporočilnega sistema je, da predvidi oceno, ki bi jo izbrani uporabnik u dodelil določeni vsebini i. Napoved ocene r(u, i) je izračunana kot skalarni produkt obeh vektorjev r(u, i) = pu • qT. V fazi učenja stohastični gradientni postopek uči vrednosti značilk v vektorjih p in q z minimizačijo srednje kva-dratične napake (ang. root mean sqare error - RMSE) med pravo očeno r(u, i) in napovedano očeno r(u, i):
argmm^(r(u i) -pu • q[) + A(^¿H2 + ||pu||2) (1)
u,i
kjer je A regularizačijski faktor, ki sluzi preprečevanju prekomernega prileganja (ang. overfitting). Stohastični gradientni postopek smo izvedli v večjem številu zaporednih učšnih čiklov.
Uspešnost napovedi očen z vidika RMSE smo opazovali ob uporabi različnega števila značilk F g {1... 300} in različnega števila učnih čiklov e g {1... 500}.
Pri določšitvi dveh glavnih latentnih faktorjev smo uporabili opisani postopek matričšnega razčepa z uporabo dveh faktorjev F = 2 in e = 2000 učnimi čikli. Vsak uporabnik in vsaka vsebina je tako predstavljena z vektorjem dveh značšilk, na podlagi katerih izračšunamo napovedano očeno
r (u, i) = (qi,i,qi,2) • (Pu,1,Pu,2),
(2)
123456789
Slika 3: RMSE (y os) kot funkčija števila uporabljenih značilk F (x os) pri izbranem številu učnih čiklov e e {10, 50,100, 500}
10 50 100 200 300 400 500
kjer vrednosti značilk qi,1, qii2,pui1 in pu,2 pomenijo vrednosti prvih dveh latentnih faktorjev uporabnika u in vsebine i.
2.3 Razporejanje v gruče
V vsako gručšo vsebin smo razporedili tiste vsebine, ki so imele vrednost ustrezne značilke nad 70 % maksimalne vrednosti za gruči G1.1 in G2.1 ter manj kot 30 % maksimalne vrednosti za gruči G12 in G2 2. Tak pristop je v gručše razporedil različšno sštevilo vsebin, kot je prikazano v tabeli 2.
3 Rezultati
Kot zanimiv stranski rezultat poskusa smo najprej opazovali uspesšnost postopka matričšnega razčepa (v smislu RMSE) v odvisnosti števila uporabljenih značilk F (glej sliko 3) ter v odvisnosti od sštevila učšnih čiklov e
Slika 4: RMSE (y os) kot funkčija števila učnih čiklov e (x os) pi izbranem številu uporabljenih značilk (F = 100)
(glej sliko 4). Uporabili smo desetkratno navzkrizšno preverjanje.
Slike od 5 do 7 prikazujejo porazdelitev emotivnih parametrov valenča, vzburjenje in dominanča v sštirih opazovanih gručšah v obliki grafikona kvantilov. Na vsakem grafikonu kvantilov so prikazani: srednja oznaka, ki pomeni mediano, robova okvirja, ki pomenita perčentili 25 in 75, zunanja kraka, ki sta skrajni vrednosti brez upoštevanja zunanjih točk (ang. outliers), ter zunanje točke, ki so prikazane individualno z oznako +.
4 Sklep
Rezultati kazejo, da sta parametra valenča in dominanča vezana na prvi latentni faktor, ki pojasnjuje večino varianče v očenah uporabnikov. Ugotovimo lahko tudi, da parameter vzburjenje dosega visoke vrednosti v gručši G12, medtem ko so v gruči G11 vrednosti enakomerno porazdeljene. Izkaze pa se, da med drugim latentnim faktorjem (gruči G21 in G2 2) in emotivnimi parametri ni vidne povezave.
V prispevku smo prepoznali emotivne lastnosti vsebin, ki lezijo na skrajnih delih osi, določenih z glavnima latentnima faktorjema, ter pojasnjujejo večšino varianče v očenah uporabnikov.
Slika 5: Porazdelitev parametra valenca v štirih opazovanih gručah
Slika 7: Porazdelitev parametra vzburjenje v štirih opazovanih grucšah
Slika 6: Porazdelitev parametra vzburjenje v štirih opazovanih grucšah
Zahvala
Delo je bilo izvedeno s podporo Javne agencije za raziskovalno dejavnost Republike Slovenije po pogodbi P2-0246. Avtorji se zahvaljujejo dijakom in osebju Gimnazije Poljane za sodelovanje pri pripravi nabora podatkov, ter sodelavcem iz Laboratorija za digitalno obdelavo podatkov, slik in videa za pomoc pri izvedbi poskusa.
Literatura
[1]	Gediminas Adomavicius and A. Tuzhilin. Toward the next generation of recommender systems: a survey of the state-of-the-art and possible extensions. IEEE Transactions on Knowledge and Data Engineering, 17(6):734-749, June 2005.
[2]	Simon Funk. Netflix Update: Try This at Home, 2006.
[3]	Yehuda Koren, Robert Bell, and Chris Volinsky. Matrix Factorization Techniques for Recommender Systems. Computer, 42(8):30-37, August 2009.
[4]	Peter J Lang, M M Bradley, and B N Cuthbert. International affective picture system (IAPS): Affective ratings of pictures and instruction manual. Technical Report A-8. Technical report, University of Florida, 2005.
[5]	G. Linden, B. Smith, and J. York. Amazon.com recommendations: item-to-item collaborative filtering. IEEE Internet Computing, 7(l):76-80, January 2003.
[6]	Matevz Pogacnik, Jurij Tasic, Marko Meza, and Andrej Kosir. Personal Content Recommender Based on a Hierarchical User Model for the Selection of TV Programmes. User Modeling and User-Adapted Interaction: The Journal of Personalization Research, 15(5):425-457, 2005.
[7]	Matevz Pogacnik, Jurij Tasic, and Andrej Košir. Optimization of Multi-attribute User Modeling Approach. AEU - International Journal of Electronics and Communications, 58(6):402-412, 2004.
[8]	Jonathan Posner, James a Russell, and Bradley S Peterson. The circumplex model of affect: an integrative approach to affective neuroscience, cognitive development, and psychopathology. Development and psychopathology, 17(3):715-34, January 2005.
[9]	Yue Shi, Martha Larson, and Alan Hanjalic. Mining mood-specific movie similarity with matrix factorization for context-aware recommendation. Proceedings of the Workshop on Context-Aware Movie Recommendation, pages 34-40, 2010.
[10]	Marko Tkalcic, Urban Burnik, and Andrej Košir. Using affective parameters in a content-based recommender system for images. User Modeling and User-Adapted Interaction: The Journal of Personalization Research, pages 1-33-33, September 2010.
[11]	Marko Tkalcic, J Tasic, and Andrej Košir. The LDOS-PerAff-1 Corpus of Face Video Clips with Affective and Personality Metadata. Proceedings of Multimodal Corpora: Advances in Capturing, Coding and Analyzing Multimodality (Malta, 2010), LREC, page 111, 2009.
Marko Tkalcic je raziskovalec na Fakulteti za elektrotehniko Univerze v Ljubljani. Raziskovalna področja obsegajo emotivno računalništvo, uporabnisško modeliranje, priporocšilne sisteme in interakcija cšlovek-racšunalnik.
Andrej Košir je izredni profesor na Fakulteti za elektrotehniko Univerze v Ljubljani.
Stefan Dobravec je raziskovalec na Fakulteti za elektrotehniko Univerze v Ljubljani.
Jurij Tasic je redni profesor na Fakulteti za elektrotehniko Univerze v Ljubljani.
valence
dominance
8
7
6
5
4
3
2
12
21
22
12
21
22
arousal
12
21
22