UNIVERZA V LJUBLJANI FAKULTETA ZA ELEKTROTEHNIKO IRENA NANCOVSKA SERBEC KRATKOROČNO NAPOVEDOVANJE ČASOVNIH VRST NA PRIMERU ENOSMERNIH NAPETOSTNIH VIROV Mentor: prof. dr. Anton Jeglič Somehtor: prof. dr. Dušan Fefer DOKTORSKA DISERTACIJA LJUBLJANA, 2006 Doktorska naloga je bila izdelana pod mentorstvom prof. dr. Antona Jegliča in so-mentorstvom prof. dr. Dušana Fefra ter je last Fakultete za elektrotehniko na Univerzi v Ljubljani. Za objavljanje in uporabo rezultatov doktorskega dela je potrebno soglasje zgoraj omenjene ustanove. Tekst Je oblikovan % urejevalnikom besedil Word 2003 na prenosnem računalniku Compaq nx9010. PDF datoteka doktorske disertacije je bila natisnjena na barvnem laserskem tiskalniku. Doktorsko disertacijo posvečam svoji mami, Veri Nančovski. »O^rl sem se in videl pod soncem: hitri ne dobijo stave v teku ne junaki bitke niti modri kruha niti pametni bogastva in ne razumni naklonjenosti, kajti čas in naključje jih nadevata vse.« Pridigar 9,11 ZAHVALA Uporaba modelov za napovedovanje (nevronske mreže, statistični ARIMA modeli, modeli, ki slonijo na statistični teoriji učenja, in drugi) na področju pragmatične elektrotehnične merilne tehnike, je podvig, v katerem se redko kdo, ki »ni doma v elektrotehniki«, ne bi počutil prestrašenega. Kot »računalničarka« sem se leta 1993 pri izdelavi magistrske naloge srečala s problemom uporabe fraktalnih metod na področju meroslovja, ne brez težav. Na srečo sem vseskozi imela na voljo pomoč mentorjev in sodelavcev. Pričujoča naloga je nadaljevanje dela, opisanega v magistrski nalogi. Za strokovno vodstvo pri delu se zahvaljujem mentorju prof. dr. Antonu Jegliču, univ. dipl. inž. el. in so-mentorju prof. dr. Dušanu Fefru, univ. dipl. inž. el., ki se mu toplo zahvaljujem za dolgoletno vsestransko pomoč, za koristne, izvirne ideje in nasvete pri izdelavi naloge ter za razumevanje. Zahvaljujem se mu tudi za usmerjanje mojega računalniškega raziskovanja v svet merilne tehnike. Prav tako se za vzpodbudo in sploh za idejo uporabe metod fraktalnega oblikovanja enosmernih napetostnih signalov iskreno zahvaljujem prof. dr. Janku Drnovšku, univ. dipl. inž. el. saj je doktorska disertacija nadaljevanje raziskav na področju modeliranja signalov enosmernih napetostnih virov, ki smo jih v magistrski nalogi skušali modelirati s fraktalnimi Brownovimi gibanji. Prof. dr. Jožetu Ruglju, univ. dipl. inž. rač. in inf., pri katerem na Pedagoški fakulteti vodim vaje iz računalniških predmetov, se iskreno zahvaljujem, da me je razbremenil projektnega dela in mi omogočil končati disertacijo. Z razumevanjem za moje delo in z modrostjo šefa me je spodbujal h končanju začetega dela. Za sodelovanje in pomoč se zahvaljujem vsem svojim nekdanjim sodelavcem iz Laboratorija za procesno merilno tehniko, še posebej dr. Primožu Kranjcu univ. dipl. inž. el., ki mi je bil vseskozi v pomoč s svojim strokovnim znanjem iz elektrotehnike in s svojim prijaznim odnosom. Dragu Tacarju se zahvaljujem za strokovno pomoč pri realizaciji vezij in meritev enosmerne napetosti. Njegovemu izurjenemu očesu ne uide niti najmanjša nekonsistentnost. Urošu Platiše, univ. dipl. inž. el., se toplo zahvaljujem, ker je v času njegovih študijev elektrotehnike izdelal električno vezje ZB10. Z njeno pomočjo smo izvedli osnovne meritve napetosti na cenenih zener diodah. Uroš je vezje naredil v svojem prostem času in edino plačilo za njegovo ljubiteljsko delo je bilo skupno zadovoljstvo ob brezhibnem delovanju vezja. Dr. Ljupču Todorovskemu, univ. dipl. inž. rač. in inf. se zahvaljujem za »odkrivanje« diferenčnih enačb, vzpodbudo pri raziskovalnemu delu na skupnih člankih, predvsem pa pri pisanju disertacije. Njegov odprt raziskovalni duh in komentarji znanstvenika in prijatelja so postavljali na realna da moje dvome in me motivirali za delo. Za številna branja, pomoč pri moji skopi slovenščini in za spodbudne pogovore se zahvaljujem prijateljici in sodelavki Alenki Praprotnik, prof. mat. in rač. Toplo se zahvaljujem Ireni Serbec Robar, univ. dipl. inž. rač. in inf., ki je moje stavke večkrat spravila v berljivo slovenščino. Za spodbudo in moralno podporo med raziskovalnim delom in pisanjem disertacije se zahvaljujem mojim prijateljicam in prijateljem dr. Dunji Mladenič, univ. dipl. inž. rač. in inf. , Marku Grobelniku, dr. Borisu Zgrabliču, univ. dipl. inž. mat. ter mojim sedanjim sodelavcem z Oddelka za matematiko in računalništvo na Pedagoški fakulteti in »bivšim« sodelavcem z Laboratorija za procesno merilno tehniko na Fakulteti za elektrotehniko. Iskreno se zahvaljujem moji mami, Veri Nančovski, ki mi je vseskozi stala ob strani, čuvala mojo hčerkico Anjo ter me s svojo požrtvovalnostjo razbremenila in motivirala za delo. Toplo se zahvaljujem mojemu možu, Iztoku Serbcu, za nevronske mreže in neskončna branja in popravljanja disertacije. Najbolj se mu zahvaljujem, ker me je prenašal, mi pomagal in me razumel... Zahvaljujem se tudi vsem neimenovanim, ki so me podpirali pri delu. x KAZALO VSEBINE Poglavje_______________________________________________________________________stran 1 UVOD.......................................................................................................................................................1 1.1 Pregled vsebine ostalih poglavij...............................................................................................4 2 OPIS VIROV ENOSMERNE NAPETOSTI...................................................................................7 2.1 Meroslovje in viri enosmerne napetosti.................................................................................7 2.1.1 Westonova (standardna) celica..................................................................................8 2.1.2 Josephsonov napetostni vir........................................................................................9 2.1.3 Polprevodniški enosmerni napetostni etaloni.......................................................10 2.2 Projektiranje obnašanja polprevodniških elementov med umerjanjema - state ofthe ari13 2.2.1 Modeliranje lezenja polprevodniških referenc, Fluke..........................................13 2.2.2 Modeli za napovedovanje obnašanja napetosti, VMetrix in ameriška vojska... 17 3 SPLOŠNO O DOMENAH................................................................................................................21 3.1 Domena enosmerne napetosti...............................................................................................22 3.1.1 Namen prediktivnega modeliranja v domeni enosmerne napetosti...................25 3.2 Lorenzev sistem.......................................................................................................................26 3.3 Fraktalna Brownova gibanja ali 1/f šum..............................................................................27 4 ANALIZA IN MODELIRANJE ČASOVNIH VRST..................................................................31 4.1 Osnovni pojmi o časovnih vrstah.........................................................................................31 4.2 Opisne metode.........................................................................................................................34 4.2.1 Analiza časovnih vrst s trendom.............................................................................35 4.2.2 Analiza časovnih vrst s sezonskimi ali cikličnimi spremembami........................37 4.2.3 Avtokorelacija............................................................................................................38 4.3 Verjetnostni modeli.................................................................................................................43 4.3.1 Primeri stohastičnih procesov.................................................................................44 4.3.2 Splošna načela modeliranja v časovni domeni z ARIMA modeli.......................49 4.3.3 Splošne opazke v zvezi z modeliranjem.................................................................51 4.3.4 Analiza ostankov........................................................................................................51 4.4 Modeliranje v frekvenčni domeni.........................................................................................52 4.4.1 Porazdelitvena funkcija spektra...............................................................................52 4.4.2 Funkcija spektralne gostote......................................................................................54 4.4.3 Spektralna analiza......................................................................................................56 4.5 Testi za razlikovanje dinamike od šuma...............................................................................64 4.5.1 Razkroj sistema na singularne vrednosti................................................................65 4.5.2 Korekcijska dimenzija in testi za razlikovanje nelinearne dinamike od šuma.. 68 4.6 Zaključki preliminarne analize časovnih vrst enosmerne napetosti.................................75 5 NAPOVEDOVANJE ČASOVNIH VRST......................................................................................77 5.1 Pregled metod za napovedovanje časovnih vrst — state ofthe art.......................................78 5.2 Definicija napovedovanja časovnih vrst...............................................................................82 xi 5.2.1 Scenarij modeliranja s črnimi škatlami....................................................................85 5.2.2 Osnovne lastnosti modeliranja s črnimi škatlami.................................................88 5.2.3 Teoretične osnove za ocenjevanje modelov..........................................................89 5.2.4 Izbiranje tipa in velikosti modela na realnih podatkih.........................................92 5.2.5 Ocenjevanje črnih škatel...........................................................................................93 5.3 Negotovost napovedovanja in predikcijski intervali..........................................................99 5.3.1 Teoretična formula..................................................................................................100 5.3.2 Empirične metode, simulacije in razmnoževanje podatkov..............................102 5.3.3 Bavesov model.........................................................................................................102 5.3.4 Izbira metode za določanje predikcijskih intervalov..........................................103 5.4 Univariatno modeliranje.......................................................................................................104 5.4.1 Določanje trenda.....................................................................................................105 5.4.2 Linearna regresija z navadnimi najmanjšimi kvadrati.........................................105 5.4.3 Pace regresija............................................................................................................106 5.4.4 Lokalno utežena regresija.......................................................................................107 5.4.5 Druge statistične metode za regresijo...................................................................108 5.4.6 Regresijska drevesa..................................................................................................109 5.5 Klasične statistične metode..................................................................................................111 5.5.1 Eksponentno glajenje in Holt-Wintersova metoda............................................112 5.5.2 Box-Jenkinsova ali ARIMA metoda.....................................................................114 5.6 Multivariatno modeliranje v statistiki..................................................................................117 5.7 Nevronske mreže...................................................................................................................117 5.7.1 Usmerjene nevronske mreže..................................................................................121 5.7.2 Rekurentne nevronske mreže................................................................................133 5.8 Jedrne metode in metoda podpornih vektorjev za regresijo...........................................138 5.8.1 Definicija problema podpornih vektorjev za regresijo.......................................141 5.8.2 Dualni problem in kvadratno programiranje.......................................................144 5.8.3 Jedra in nelinearnost................................................................................................146 5.8.4 v -SVR ali v-metoda podpornih vektorji za regresijo......................................148 5.8.5 Funkcional empiričnega tveganja in funkcije izgube..........................................149 5.8.6 Numerični algoritmi in reševanje konveksnega optimizacij skega problema... 150 5.9 Izbira ustreznega modela za kratkoročno napovedovanje časovnih vrst enosmerne napetosti........................................................................................................................................151 6 ENOSMERNI NAPETOSTNI VIR-DCNRV..........................................................................153 6.1 Skupinski polprevodniški napetostni referenčni vir DCNRV........................................154 6.2 Napetostni referenčni elementi...........................................................................................154 6.2.1 Napetostni referenčni elementi v DCNRV.........................................................156 6.3 Opisi uporabljenih tipov Zenerjevih virov........................................................................157 6.3.1 Zenerjeva dioda LM329..........................................................................................157 6.3.2 Ultrastabilna Zenerjevih dioda LTZ1000............................................................160 6.4 Signali enosmerne napetosti v kontekstu meroslovja.......................................................164 6.4.1 Merilne negotovosti.................................................................................................164 6.4.2 Negotovosti modelov za napovedovanje.............................................................168 7 POSKUSI IN REZULTATI.............................................................................................................173 7.1 Nastavitve poskusov.............................................................................................................174 7.2 Poskusi z linearnimi regresijskimi metodami.....................................................................175 7.2.1 Linearna regresija.....................................................................................................177 7.2.2 Pace regresija............................................................................................................178 XII 7.2.3 Lokalno utežena regresija.......................................................................................178 7.2.4 Regresijska drevesa..................................................................................................179 7.2.5 Primerjanje uspešnosti regresijskih modelov.......................................................180 7.3 Poskusi s klasičnimi statističnimi metodami......................................................................181 7.3.1 Eksponentno glajenje..............................................................................................182 7.3.2 Box-Jenkinsovi ARIMA modeli............................................................................183 7.4 Poskusi z nevronskimi mrežami..........................................................................................184 7.4.1 Večnivojski perceptron....................,......................................................................185 7.4.2 FIR-večnivojski perceptron...................................................................................188 7.4.3 GMDH skupinska metoda za obravnavanje podatkov....................................189 7.4.4 Rekurentna mreža....................................................................................................190 7.4.5 Primerjava uspešnosti nevronskih mrež...............................................................191 7.5 Poskusi z metodo podpornih vektorjev za regresijo........................................................192 7.5.1 Izbira paketa (numerične metode)........................................................................192 7.5.2 Jedra...........................................................................................................................193 7.5.3 Izbira tipa SVR-jain njegovih parametrov..........................................................194 7.6 Izbiranje najboljšega modela črne škade............................................................................195 7.7 Simulacija napovedovanja in predikcijski intervali............................................................197 8 ZAKLJUČKI.......................................................................................................................................201 8.1 Prispevki k znanosti..............................................................................................................203 8.1.1 Prispevki na področju merilne tehnike.................................................................203 8.1.2 Prispevki na področju prediktivnega modeliranja časovnih vrst......................204 A SPLOŠNO O POLPREVODNOSTI............................................................................................206 A.l Fizikalne osnove prevodnosti.............................................................................................206 A.2 Pasovna teorija trdih snovi..................................................................................................207 A.3 Polprevodniki........................................................................................................................207 A.3.1 Pravi polprevodniki................................................................................................207 A.3.2 Nepravi polprevodniki...........................................................................................208 A.4 Polprevodnost - energetsko stališče..................................................................................209 A.4.1 Dinamika v polprevodnikih povzročena s trki ionizacijskih plazov...............210 A.5 Polprevodniške naprave.......................................................................................................210 A.5.1 Polprevodniška dioda.............................................................................................211 A.5.2 Zenerjeva dioda.......................................................................................................211 A.5.3 Napetostni referenčni elementi tipa Zener.........................................................213 B MEROSLOVJE..................................................................................................................................215 B.l Veličine in enote....................................................................................................................215 B.2 Merjenja, meritve..................................................................................................................216 B.3 Merilni rezultati.....................................................................................................................217 B.4 Merilni instrumenti...............................................................................................................219 B.5 Značilnosti merilnih instrumentov.....................................................................................220 B.6 Etaloni, merilni standardi.....................................................................................................221 B.7 Meroslovna hierarhija...........................................................................................................222 B.8 Meroslovni sistem v Sloveniji..............................................................................................223 B.8.1 Enosmerna napetost in sledljivost po svetu in v Sloveniji................................224 C ELEKTRIČNO VEZJE ZB10........................................................................................................225 C.l Postavitev vezja.....................................................................................................................225 xiii D REZULTATI POSKUSOV.............................................................................................................229 XIV Slika KAZALO SLIK stran Slika 2.1: Uporaba polprevodniških napetostnih virov (Fluke 732A in 732B) v vlogi primarnih delovnih etalonov.................................................................................................12 Slika 2.2: Uporaba dveh modelov za modeliranje izhodne napetosti Fluke 732B in empiričnih negotovosti v obdobju med umerjanjema: modela s konstantnim izhodom (v prvem letu) in linearnega modela lezenja (v naslednjih štirih letih). S prekinjeno črto so izrisane napovedi modelov. S črno črto so izrisane meritve dejanskega odstopanja izhodne napetosti Fluke 732B, izmerjene s Josephsonovim etalonom. Ob prekinjeni črti je izrisan interval 95% zaupanja. Diagram prikazuje pedetno obdobje...................20 Slika 3.1: Spreminjanje izhodne napetosti LTZ1000: skupina štirih vzporedno vezanih diod: Ref A, Ref B, Ref C in Ref D pri 1000 urni meritvi..........................................................23 Slika 3.2: Zaporedna vezava N-tih 6,9 V diod. Uporabili smo zaporedje štirih diod LM329. Izhodna napetost je bila približno 27,5 V...........................................................................24 Slika 3.3: Spreminjanje napetosti a) in c) na vhodu (napajalna napetost) diod Ref A in Ref D in b) in d) na izhodu diod LTZ1000 (referenčna napetost) Ref A in Ref D; oboje pri 1000 urni meritvi, predstavljeno z enako velikim merilom...............................................24 Slika 3.4: Spreminjanje napetosti na izhodu a) LTZ1000 in b) LM329; oboje pri 500 urni meritvi, predstavljeno z enako ločljivostjo..........................................................................25 Slika 3.5: Spreminjanje napetosti Zenerjevih diod tipa LTZ1000, časovna vrsta AT, starejša meritev in časovna vrsta Ref A. Oboje je dobljeno s 1000-urnimi meritvami. Predstavljenih je prvih 400 ur. Podatki so normirani med 0 in 1....................................25 Slika 3.6: Spreminjanje napetosti na izhodu: a) »najboljše« LM329 (ZEN6) in b) »najslabše« LM329 (ZEN3). Napetost LM329 na sliki a) ima izrazit trend. Sliki predstavljata 500 urno meritev, predstavljeno z enako ločljivostjo................................................................26 Slika 3.7: Spreminjanje napetosti na izhodu skupine štirih zaporedno vezanih LM329..........26 Slika 3.8: Opis »inteligentnega« NRE, ki »opazuje« referenčno napetost. Prediktor (model za napovedovanje) napoveduje sedanje vrednosti. Prave vrednosti referenčne napetosti (prekinjana povezava) RN(n) so dostopne samo v času umerjanja.................................26 Slika 3.9: Časovna vrsta dobljena z numeričnim integriranjem Lorenzevega sistema (spremenljivka %).....................................................................................................................27 Slika 3.10: a) Fraktalno Brownovo gibanje (FBM1) ali simulacija časovne vrste enosmerne napetosti tipa LZT1000. Časovna vrsta je dobljena s spektralno sintezo močnostnega spektra Ref A; b) FBM2 časovna vrsta je dobljena s spektralno sintezo spektra oblike ...................................................................................................................................................30 XV Slika 4.1: Diagram časovne vrste LM329 (ZEN2): a) Časovna vrsta kaže izrazit trend, ki se v meroslovju imenuje lezenje; b) Diagram kaže diferencirano časovno vrsto z zamikom 1................................................................................................................................36 Slika 4.2: Avtokorelacijski koeficienti (korelogram) belega šuma. Prekinjena črta označuje področje zaupanja za avtokorelacijske koeficiente ± 2/ y/N . Večina koeficientov rk,k > lpripada temu področju............................................................................................39 Slika 4.3: Avtokorelacijski koeficienti (korelograma) procesov, ki imajo »omejen spomin«: a) Korelogram časovne vrste AT enosmerne napetosti LTZ1000; b) Korelogram časovne vrste, ki predstavlja fraktalno Brownovo gibanje, FBM2..................................................40 Slika 4.4: Parcialni avtokorelacijski koeficienti za časovno vrsto AT enosmerne napetosti LT21000..................................................................................................................................40 Slika 4.5: a) Koeficienti avtokorelacijske funkcije ter b) parcialne avtokorelacijske funkcije za časovno vrsto tipa LTZ1000 (Ref A)...................................................................................40 Slika 4.6: a) Koeficienti avtokorelacijske funkcije ter b) parcialne avtokorelacijske funkcije za časovno vrsto spremenljivke ^Lorenzevega sistema.........................................................41 Slika 4.7: a) Koeficienti razširjene vzorčne avtokorelacijske funkcije ter b) razširjene vzorčne parcialne avtokorelacijske funkcije za časovno vrsto tipa LTZ1000 (AT).....................42 Slika 4.9: a) Avtokorelacijski koeficienti in b) parcialni avtokorelacijski koeficienti diferencirane časovne vrste napetosti skupine štirih zaporedno vezanih diod LM329.42 Slika 4.10: a) Avtokorelacijski koeficienti in b) parcialni avtokorelacijski koeficienti časovne vrste FBM1..............................................................................................................................42 Slika 4.11: a) Avtokorelacijski koeficienti in b) parcialni avtokorelacijski koeficienti časovne vrste FBM2..............................................................................................................................43 Slika 4.12: Močnostni spekter belega šuma....................................................................................56 Slika 4.13: Močnostna spektra dveh tipov fraktalnega Brownovega gibanja a) FBM1 in b) FBM2. Slika b) predstavlja spekter 1/f šuma. Sliki sta v lin/log merilu.........................56 Slika 4.14: a) Periodogram in b) močnostni spekter za Lorenzev sistem (spremenljivka ^) v lin-log merilu. Ocenjeni močnostni spekter (b) smo dobili s pomočjo Hammingovega okna dolžine 19.......................................................................................................................58 Slika 4.15: Močnostni spekter napetosti diode LTZ1000. Slika je v log/log merilu................60 Slika 4.16: a) Periodogram in b) ocenjeni močnostni spekter časovne vrste, ki jo ustvarja LTZ1000, Ref A. Sliki sta v lin-log merilu..........................................................................61 Slika 4.17: Vpliv različnih tipov oken dolžine 9 na ocenjeni močnostni spekter časovne vrste, ki jo ustvarja LTZ1000, Ref A. Slika je v lin-log merilu....................................................61 Slika 4.18: Vpliv dolžine Parzenovega okna na ocenjeni močnostni spekter časovne vrste, ki jo ustvarja LTZ1000, Ref A. Slika je v lin-log merilu........................................................61 XVI Slika 4.19: Močnostni spekter diferencirane časovne vrste napetosti napetostnega elementa LTZ1000, Ref A. Slika je v lin/log merilu...........................................................................62 Slika 4.20: Ocenjeni močnostni spektri časovnih vrst LM329 in LTZ1000: a) ZEN1 je Zenerjeva dioda s povprečnim standardnim odklonom; b) ZEN3 je Zenerjeva dioda z največjim standardnim odklonom (najslabša); c) ZEN6 je Zenerjeva dioda z najmanjšim standardnim odklonom (najboljša); d) ocenjen spekter diode LZT1000, Ref A. Ocenjeni spektri so v lin-log merilu. Močnostne spektre smo ocenili z uporabo Parzenovega okna dolžine 9..................................................................................................62 Slika 4.21: Ocenjeni spekter zaporedja štirih najboljših Zenerjevih diod tipa LM329 v lin-log merilu. Cenilka spektra uporablja Parzenovo okno dolžine 9..........................................63 Slika 4.22: Vpliv dolžine Parzenovega okna na ocenjeni močnostni spekter časovne vrste, ki jo ustvarja zaporedna vezava štirih diod tipa LM329. Slika je v lin-log merilu..............64 Slika 4.23: Močnostni spekter diferencirane časovne vrste napetosti diode tipa LM329, ZEN6. Slika je v log/lin merilu............................................................................................64 Slika 4.24: Normalizirani spektri singularnih vrednosti časovnih vrst napetost LTZ1000, ki smo jih dobili s SVD dekompozicijo. V oknu Ta = 5,5 \h\ smo za Ts vzeli večkratnike vzorčne periode oziroma 0,25, 0,5, 0,75, s tem pa dolžine oken 22, 11,7. ...................................................................................................................................................66 Slika 4.25: Projekcije trajektorije časovne vrste LTZ1000 na med seboj ortogonalnih ravninah, razpetih med singularnimi vektorji {c;j. /-to točko na [c, ,ck j ravnini dobimo s projekcijo \fjXi,CkXij. Fazni prostor je devet dimenzionalen in ts = 0,75 [h]...........................................................................................................................67 Slika 4.26: Normalizirani spektri singularnih vrednosti časovnih vrst napetosti, ki jih ustvarjajo LM329. a) ZEN1 (povprečna dioda); b)ZEN3 (najslabša dioda); c)ZEN6 (najboljša dioda); d) zaporedna skupina 4-ih najboljših. Spektri so prikazani v logaritemskem merilu.............................................................................................................68 Slika 4.27: Diagram raztresenosti točk v fazni sliki Lorenzevega atraktorja (spremenljivka ^), ki kaže odvisnost razdalje med točkami v faznem prostoru od časa...............................70 Slika 4.28: Diagram raztresenosti točk v fazni sliki časovne vrste enosmerne napetosti (LTZ1000), ki kaže odvisnost razdalje med točkami v faznem prostoru od časa.........70 Slika 4.29: Casovno-prostorsko ločevanje za: a) Lorenzev sistem (spremenljivka $; b) časovno vrsto napetosti (LTZ1000); c) časovno vrsto FBM; d) šum z normalno porazdelitvijo. Konture predstavljajo frakcije točk, ki so si bližje, kot je podana razdalja rpri podani časovni razdalji A/. Grafi ustrezajo frakcijam: 1%, 10%, 50%, 90%, 99%. ...................................................................................................................................................71 Slika 4.30: Casovno-prostorsko ločevanje za časovne vrste LM329: a) ZEN1; b)ZEN3; c) ZEN6; d) zaporedna skupina štirih najboljših diod. Konture predstavljajo frakcije točk, ki so si bližje, kot je podana razdalja rpri podani časovni razdalji A/. Grafi ustrezajo frakcijam: 1%, 10%, 50%, 90%, 99%..................................................................72 xvn Slika 4.31: Strukturne funkcije: a) Lorenzevega sistema (spremenljivka $; b) časovne vrste napetosti (LTZ1000); c) časovne vrste FBM; d) šum z normalno porazdelitvijo.........72 Slika 4.32: Strukturne funkcije časovnih vrst LM329: a) ZEN1, b)ZEN3, c) ZEN6, d) zaporedna skupina štirih najboljših diod.............................................................................74 Slika 4.33: Strukturne funkcije (v [log-log] merilu) zglajenih časovnih vrst LTZ1000 in LM329: a) zglajena LTZ1000; b) diferencirana zglajena LTZ1000; c) zglajena ZEN6; d) diferencirana zglajena ZEN6............................................................................................74 Slika 4.34: Strukturne funkcije (v [log-log] merilu) časovnih vrst (leva stran) in diferenciranih časovnih vrst (desna stran): a) SF spremenljivke ^Lorenzevega sistema; b) SF diferencirane časovne vrste spremenljivke ^ Lorenzevega sistema; c) SF časovne vrste napetosti LTZ1000; d) SF diferencirane časovne vrste LTZ1000; e) SF časovne vrste FBM; f) SF diferencirane časovne vrste FBM; g) SF časovne vrste ZEN6 (LM329); h) SF diferencirane časovne vrste ZEN6.................................................................................76 Slika 5.1: Klasične arhitekture nevronskih mrež: a) usmerjena nevronska mreža; b) rekurentna nevronska mreža; c) samoorganizacijska mreža.............................................81 Slika 5.2: Univariatno in multivariatno modeliranje časovnih vrst.............................................83 Slika 5.3: Kratkoročno modeliranje s stališča vira, ki ustvarja časovno vrsto. Prediktor učimo napovedovati sedanje (in mogoče do par prihodnjih) vrednosti v časovni vrsti, tako da se po časovni vrsti premikamo z oknom dolgim^ +1 s korakom 1. Prediktorju kažemo^) preteklih vrednosti, le-ta pa napoveduje naslednjo vrednost..........................84 Slika 5.4: Kratkoročno modeliranje s stališča modela (prediktorja)............................................84 Slika 5.5: SVM kot nevronska mreža..............................................................................................87 Slika 5.6: Ocenjevanje uspešnosti modelov za napovedovanje časovnih vrst. Slika predstavlja prilagojeno inačico izvirne slike v [101], ki predstavlja ocenjevanje uspešnosti avtomatsko zgrajenih teorij. Predznanja o modelu v dobesednem pomenu ne vključujemo, ker uporabljamo scenarij modeliranja s črnimi škatlami............................89 Slika 5.7: Umetni nevron za aktivacijsko funkcijo /.................................................................122 Slika 5.8: Usmerjene nevronske mreže: preceptron, večnivojski perceptron (sigmoidna aktivacijska funkcija), RBF-mreža; GMDH-mreža, FIR- večnivojski percepron in SVM........................................................................................................................................123 Slika 5.9: Problemi pri praktičnem modeliranju s klasičnimi nevronskimi mrežami: število nevronov v skritih nivojih in problem lokalnega minimuma.........................................124 Slika 5.10: Usmerjena večnivojska umetna nevronska mreža. xfi) so komponente vhodnega vektorja v času i,j/i) so želene izhodne vrednosti, komponente izhodnega vektorja. Krogci predstavljajo nevrone, črte, ki povezujejo nevrone pa sinapse z utežmi. Kvadratki predstavljajo nevrone brez vhoda, katerih sinapse hranijo proste člene za nevrone naslednjega nivoja. m{ je število nevronov na /-tem nivoju.............................125 Slika 5.11: Statičen večnivojski perceptron, uporabljen za napovedovanje časovnih vrst. ...125 XVIII Slika 5.12: Procesiranje signalov skozi FIR sinapse, kot vhodni signali nevrona v FIR-VP.128 Slika 5.13: Potek signala skozi FIR sinapse, procesiranje signalov v nevronu, struktura FIR-VP............................................................................................................................................128 Slika 5.14: Vzvratno razširjanje lokalnih gradientov skozi FIR sinapse...................................130 Slika 5.15: Primer naučene GMDH mreže...................................................................................131 Slika 5.16: N-Adaline element........................................................................................................131 Slika 5.17: Premikanje po časovni vrsti pri izgradnji GMDH mreže: v fazi učenja število N-Adaline elementov narašča, v fazi prilagajanja pa odrežemo »odvečne« N-Adaline elemente..................................................................................................................................132 Slika 5.18: Različni tipi rekurentnih nevronskih mrež................................................................134 Slika 5.19: Splošna oblika Elmanove mreže.................................................................................134 Slika 5.20: Rekurentna nevronska mreža: povezani vhodno-izhodni nivo povezuje zamujene povratne povezave (kontekstne enote) z vhodnimi vektorji u(n) in x(n)...................136 Slika 5.21: Shema realizacije SVM paradigme..............................................................................140 Slika 5.22: Določanje parametrov modela po metodi najmanjših kvadratov. Kvadratna funkcija izgube.......................................................................................................................142 Slika 5.23: Določanje parametrov modela kot konveksen optimizacijski problem................142 Slika 5.24: Določanje mehkih margin £ -intenzivne funkcije izgube pri linearnem SVR problemu. Zgornja slika kaže nastavitve optimizacijskega problema. Spodnja slika kaže S -intenzivno funkcijo izgube.............................................................................................143 Slika 5.25: Prehod iz nelinearne v linearno regresijo z uporabo jeder......................................147 Slika 6.1: Zajemanje podatkov in krmiljenje DCNRV z osebnim računalnikom...................156 Slika 6.2: Shema integriranega vezja LTZ1000 (Linear Technology) (vir slike [113])............160 Slika 6.3: Dolgoročna stabilnost LTZ1000 po specifikacijah proizvajalca brez predhodnih priprav ali staranja (vir slike [113])......................................................................................160 Slika 6.4: Shema enosmernega napetostnega referenčnega vira, DCNRV (vir slike [103])...161 Slika 6.5: Prikaz vgrajenega merilnega sistema (vir slike [103]).................................................162 Slika 6.6: Shema napetostnega referenčnega elementa NRE (vir slike [103]).........................163 Slika 6.7: Merilna postavitev za zajemanje časovnih vrst s katerimi zgradimo model (vir slike [103]).......................................................................................................................................164 Slika 6.8: Vgrajeni merilni sistem z uporabo AD pretvornika in algoritma za napovedovanje (vir slike [103]).......................................................................................................................165 xix Slika 6.9: Napovedovanje napetosti časovnih vrst: a) LTZ1000 (Ref A) in b) LM329 (ZEN6). Obe sliki predstavljata napovedovanje na testnih podatkih. Modela, ki ju uporabljamo, sta dobljena z metodo podpornih vektorjev za regresijo........................172 Slika 7.1: Srednja kvadratna napaka (MSE) za najbolj enostavne linearne modele na testnih podatkih za časovne vrste REF A, ZEN6, LorZ in FBM1. Pod vsako napako je podan še ustrezni model...................................................................................................................175 Slika 7.2: Primerjava MSE napak (z-os), ki jo naredijo regresijski modeli (x-os) na testnih podatkih za domene časovnih vrst Ref A, ZEN6, LorZ in FBM1 (y-os)....................176 Slika 7.3: Primerjava AIC za regresijske modele (x-os) na testnih podatkih za domene (y-os) Ref A, ZEN6, LorZ in FBM1.............................................................................................176 Slika 7.4: Primerjava MSE napak (z-os), ki jo naredijo klasični statistični modeli (x-os) na testnih podatkih domen časovnih vrst Ref A, ZEN6, LorZ in FBM1 (y-os)..............182 Slika 7.5: Primerjava MSE napak (z-os), ki jo naredijo nevronske mreže (x-os) na testnih podatkih domen časovnih vrst Ref A, ZEN6, LorZ in FBM1 (y-os)...........................185 Slika 7.6: Večnivojski perceptron v programskem paketu WEKA..........................................186 Slika 7.7: Odvisnost MSE napake na učni množici časovne vrste LorZ od začetnih nastavitev parametrov a e [0,01..0,1J, tj e [0,8,..,0,9j. MSE napake različnih velikosti so predstavljene z različno pobarvanimi področji. Vrednosti napak predstavljajo povprečja napak treh neodvisnih poskusov.....................................................................186 Slika 7.8: Odvisnost MSE napake na učni množici časovne vrste Ref A od začetnih nastavitev parametrov a in T]. MSE napake različnih velikosti so predstavljene z različno pobarvanimi področji. Vrednosti napak predstavljajo povprečja napak dveh neodvisnih poskusov, a) Grobo raziskovanje MSE ploskve za a g [0,1..0,9],77 e [0,5..0,9]. b) Podrobno (s korakom 0,01) raziskovanje za a g [0,01..0,2],7 e [0,7..0,9]. c) Podrobno raziskovanje a g [0,0L.0,2],77 e [0,01..0,2]............................................................................................187 Slika 7.9: Naučeni GMDH mreži a) učenje brez kontrolnih parametrov s tremi vhodnimi nevroni; b) učenje s kontrolnim parametrom in tremi vhodnimi nevroni...................189 Slika 7.10: Primerjava MSE napak (z-os) nevronskih mrež (x-os) na dvanajstih domenah (y-os)............................................................................................................................................191 Slika 7.11: Primerjava MSE napak (z-os), 8-SVR modelov z linearnim jedrom, ki jih zgradijo različni paketi (y-os) na štirih domenah (x-os)..................................................................193 Slika 7.12: Primerjava MSE napak (z-os) 8-SVR modelov z linearnim jedrom in RBF jedrom (y-os) na štirih domenah (x-os)...........................................................................................193 Slika 7.13: Primerjava MSE napak (z-os) S -SVR in v -SVR modelov z linearnim jedrom in RBF jedrom (y-os) na štirih domenah (x-os)....................................................................194 XX Slika 7.14: Odvisnost MSE (z-os) na testnih podatkih časovne vrste Ref A (dolžina vhoda 4) od parametrov s (x-os) in C (y-os)....................................................................................195 Slika 7.15: Odvisnost MSE (y-os) na testnih podatkih časovne vrste LorZ (dolžina vhoda 7) od parametra 8 (x-os)..........................................................................................................195 Slika 7.16: MSE performance (z-os) izbranih prediktorjev (y-os) na testnih podatkih domen (x-os).......................................................................................................................................196 Slika 7.17: MSE ocene izbranih prediktorjev na testnih podatkih Ref A in njihovi intervali zaupanja..................................................................................................................................197 Slika 7.18: Validiranje predikcijskih intervalov pri napovedovanju testnih podatkov Ref A: a) Srednje napovedi treh modelov in predikcijski intervali; b) Prave vrednosti in predikcijski intervali..............................................................................................................198 Slika 7.19: Validiranje predikcijskih intervalov pri napovedovanju testnih podatkov Ref A: a) Srednje napovedi treh modelov in predikcijski intervali ocenjeni z maksimalno absolutno napako; b) Prave vrednosti in predikcijski intervali s srednjo absolutno napako.....................................................................................................................................199 Slika 7.20: Simulacija z dodajanjem šuma v časovni vrsti ZEN6. Napovedane vrednosti so bližje dejanskim v primerjavi z vrednostmi, ki jih pri simulaciji oceni AD (brez napovedovanja).....................................................................................................................200 Slika A.l: Preprost model polprevodniške diode (vir slike [192]).............................................210 Slika A.2: Zenerjeva dioda: levo u/i odvisnost in desno uporabljana simbola (vir slike [192]). .................................................................................................................................................211 Slika A.3: Referenčni vir, izveden z Zenerjevo diodo, levo, in električno nadomestno vezje, desno (vir slike [192])...........................................................................................................212 Slika A.4: Analiza stabilnosti razmer (vir slike [192])..................................................................212 Slika A.5: Napetostni stabilizator z Zenerjevo diodo (vir slike [192])......................................213 Slika A.6: Funkcijske odvisnosti parametrov Zenerjevih diod (vir slike [192])......................213 Slika A.7: Temperaturno kompenzirani Zenerjevi referenčni elementi (vir slike [192])........214 Slika B.l: Zagotavljanje sledljivosti prenosnikih etalonov znotraj nacionalnega meroslovnega sistema v RS (vir slike [207])................................................................................................224 Slika C.l: ZB10 postavitev diod.....................................................................................................225 Slika C.2: Postavitev Zenerjevih diod pri vzporedni vezavi......................................................226 Slika C.3: Postavitev Zenerjevih diod pri zaporedni vezavi.......................................................226 Slika C.4: Vrhnji videz Zenerjeve diode tipa LM329 (vir slike [137])......................................226 Slika C.5: Shema električnega vezja ZB10....................................................................................228 XXI Slika D.l: Vsebina škade pri napovedovanju časovne vrste Ref A 2 navadno linearno regresijo..................................................................................................................................230 Slika D.2: Vsebina »najboljših« škatel pri napovedovanju časovne vrste ZEN6 2 navadno linearno regresijo...................................................................................................................230 Slika D.3: Vsebina »najboljših« škatel pri napovedovanju časovne vrste LorZ 2 navadno linearno regresijo...................................................................................................................231 Slika D.4: Vsebina škade pri napovedovanju časovne vrste FBM1 2 navadno linearno regresijo..................................................................................................................................231 Slika D.5: Vsebina škade pri napovedovanju časovne vrste Ref A s pace regresijo.............231 Slika D.6: Vsebina škade pri napovedovanju časovne vrste ZEN6 s pace regresijo............231 Slika D.7: Vsebina »najboljših« škatel pri napovedovanju časovne vrste LorZ s pace regresijo..................................................................................................................................231 Slika D.8: Vsebina »najboljših« škatel pri napovedovanju časovne vrste FBM1 s pace regresijo..................................................................................................................................232 Slika D.9: Vsebina škatle pri napovedovanju časovne vrste ZEN6 2 modelnim drevesom. .................................................................................................................................................232 xxii KAZALO TABEL Tabela______________________________________________________________________stran Tabela 4.1: Število vzorcev v oknu Ta = 5,5 \h\..........................................................................66 Tabela 6.1: Opis osnovnih lastnosti desetih časovnih vrst, ki jih ustvarjajo Zenerjeve diode tipa LM329 (ZEN1..ZEN10) in izbrane skupine 4-ih LM329 (dolga meritev in izbrana meritev)..............................................................................,....................................................159 Tabela 6.2: Opis osnovnih lastnosti časovnih vrst, ki jih ustvarjajo posamezni napetostni referenčni elementi tipa LTZ1000 (Ref A., Ref B,...) in ki smo jih dobili s 1000-urno meritvijo.................................................................................................................................162 Tabela 6.3: Deleži negotovosti pri modeliranju...........................................................................170 Tabela 7.1: Testiranje hipoteze, da so vsi prediktorji enako uspešni za D < 5 . Hipotezo zavrnemo................................................................................................................................180 Tabela 7.2: Tabela skupin uspešnosti............................................................................................181 Tabela 7.3: Tabeli primerjav med regresijskimi modeli..............................................................181 Tabela 7.4: Tabela skupin uspešnosti nevronskih mrež.............................................................191 Tabela 7.5: Tabeli primerjav med mrežami..................................................................................192 Tabela 7.6: MSE performance izbranih prediktorjev (stolpci) na testnih podatkih domen (vrstice). S krepko pisavo so napisane MSE napake najuspešnejših modelov.............196 Tabela 7.7: Ocene prediktorjev na testnih podatkih Ref A.......................................................197 Tabela C.l: Dodelitev kontaktnih pinov na konektorjih DIN64 in IDC40............................227 Tabela D.l: Napovedovanje z linearno regresijo, MSE napake na testni množici za časovne vrste Ref A, ZEN6, LorZ in FBM1. Posebej izpostavljamo spreminjanje parametra dolžine vhoda, med 2 in 7 (stolpci tabele). S sivo barvo so pobarvana ozadja celic, ki predstavljajo minimum metode, medtem ko so s krepkimi črkami označene minimalne MSE napake za domeno......................................................................................................229 Tabela D.2: Tabela MSE napak z regresijskimi metodami na vseh dvanajstih domenah. Vrstice so imena domen, stolpci predstavljajo prediktorje. V celicah tabele so shranjene MSE napake na testnih podatkih. S krepko pisavo so označeni najbolj uspešni modeli.......................................................................................................................230 Tabela D.3: Tabela MSE napak nevronskih mrež na vseh dvanajstih domenah. Vrstice so imena domen, stolpci predstavljajo prediktorje. V celicah tabele so shranjene MSE napake na testnih podatkih. S krepko pisavo so označeni najbolj uspešni modeli.....232 XXIII KRATKOROČNO NAPOVEDOVANJE ČASOVNIH VRST NA PRIMERU ENOSMERNIH NAPETOSTNIH VIROV Povzetek Pri vzdrževanju virov enosmerne napetosti igra pomembno vlogo sledenje njihovim meroslovnim parametrom v času med dvema umerjanjema. Za ta namen potrebujemo drag merilni sistem. S kratkoročnim modeliranjem se I ukvarjamo, da bi dobili vpogled v obnašanje izhodne napetosti napetostnih referenčnih elementov, ki običajno sestavljajo polprevodniške napetostne referenčne vire. S programsko opremo %a kratkoročno napovedovanje enosmerne napetosti, ki jo umestimo nad napetostnim referenčnimi elementi, ogradimo transparenten, prilagodljiv in poceni navidezni merilni sistem. S sledenjem trenda spreminjanja izhodne enosmerne napetosti, ki ga izvajamo s pomočjo modelov %a kratkoročno napovedovanje, ocenjujemo obnašanje napetostnih referenčnih elementov, ne da bi izvajali neposredne meritve. S ciljem, da bi uvrstili modele %a kratkoročno napovedovanje enosmerne napetosti, ki so predmet našega raziskovanja v raziskovalno delo na področju merilne tehnike, opisujemo modele %a dolgoročno napovedovanje izhodne napetosti polprevodniskih napetostnih referenčnih elementov, ki so jih razvili v raziskovalnih meroslovnih laboratorijih, kot je NIST-ov, laboratorija podjetij Fluke in VMetrix ter v meroslovnem laboratoriju ameriške vojske. Modelirajo lezenje enosmerne napetosti napetostnih referenčnih elementov v omejenem obdobju z ocenjevanjem negotovosti, ki vplivajo na enosmerno napetost. Modele so razvili, da bi predvideli, »projektirali« obnašanje enosmerne napetosti med umerjanjema, ocenili negotovosti v obdobju med umerjanjema in določili število umerjanj v omejenem časovnem obdobju, ki so potrebni, da bi ohranjali določeno merilno negotovost. Modele so Zgradili s kalibracijskimi meritvami, z meritvami, dobljenimi s pomočjo etalona višjega reda ali celo z uporabo Josephsonovega etalona. Ugotovili so, da je spreminjanje napetosti polprevodniskih napetostnih elementov deterministično, da se dogaja po določenem scenariju in da ni nepravilnosti v delovanju poljubnega etalona. Ugotovili so tudi, da tlak, temperatura in vlažnost vplivajo na spreminjanje izhodne napetosti. Dejanski vzroki XXV Za celotno dinamiko izhodne napetosti, ki je predmet raziskav tudi v pričujoči disertaciji, niso znani v celoti, čeprav jih je večinoma možno %ajeti z modeli za napovedovanje. V disertaciji se ukvarjamo s kratkoročnim napovedovanjem časovnih vrst. Za razliko od dolgoročnega napovedovanja, pri katerem je namen ocenjevanje obnašanja napetosti med dvema umerjanjema, je osnovni namen kratkoročnega napovedovanja ocenjevanje relativnih sprememb trenutne vrednosti glede na nekaj zadnjih ocenjenih vrednosti z uporabo modela, ki zajema »izkušnje« i^preteklosti. Domeno enosmerne napetosti sestavljajo časovne vrste izhodne napetosti različno starih napetostnih referenčnih elementov tipa LTZ1000, cenenih diod tipa LM329 in zaporedne skupine štirih diod tipa LM329. LTZ1000 je ultrastabilna Zenerjeva dioda, Fe-ta predstavlja osnovni gradnik napetostnih referenčnih elementov v enosmernem napetostnem referenčnem viru (DCNKV), kije bil razvit kot skupinskipolprevodniški laboratorijski vir v Faboratoriju %a procesno merilno tehniko Fakultete %a elektrotehniko v Ljubljani. Poleg izhodne napetosti kakovostnih ultrastabilnih Zenerjevih diod tipa LTZ1000 modeliramo tudi izhodne napetosti cenenih Zenerjeva diod tipa LM329 z i^ra^to izhodno variabilnostjo. Da bi raziskovali obnašanje diod in skupin diod tipa FM329 smo izdelali električno vezje ZEN10. Le-to omogoča konfiguriranje in merjenje napetosti na izhodu vzporednih in zaporednih skupin diod LM329. Bolj splošno uporabo izpranih modelov za kratkoročno napovedovanje potrjujemo na dveh umetnih domenah, kot sta Forenzev atraktor (spremenljivka z) ter fraktalno Broivnovo gibanje ali 1 /f šum. Forenzev atraktor je znan nelinearen dinamičen sistem in je v strokovni literaturi ena od najbolj pogosto uporabljanih domen pri vrednotenju metod z? analizo časovnih podatkov. Fraktalno Brownovo gibanje pa je stohastični model Z omejenim spektrom in ima podobno korelacijsko fraktalno) dimenzijo kot izmerjeni signal napetosti. Hkrati v strokovni literaturi potrjujejo prisotnost 11 f šumov v napetostnih signalih polprevodnikov. Vreden se lotimo prediktivnega modeliranja časovnih vrst se ukvarjamo z njihovimi opisnimi lastnostmi. Izrisujemo korelograme, parcialne avtokorelacijske funkcije in močnostne spektre. Znane stohastične modele časovnih vrst, ki vsebujejo različne stopnje determinizma, primerjamo s časovnimi vrstami enosmerne napetosti. Izvajamo teste %a razlikovanje dinamike od šuma s ciljem, da bi ugotovili smotrnost prediktivnega modeliranja. Večina testov, kot so naključno spreminjanje faze, časovno-prostorsko ločevanje, strukturna funkcija, potrjuje, da v časovnih vrstah napetosti prevladuje dinamika nad šumom. Pri iskanju in ocenjevanju modela za kratkoročno napovedovanje, ki sloni na inteligentnem procesiranju izmerjenih časovnih vrst iz preteklosti, uporabljamo metode, ki so povezane z različnimi področji modeliranja dinamičnih sistemov v znanosti: statistična analiza časovnih vrst, identifikacija sistemov, strojno učenje, digitalno procesiranje signalov... Glede na namen gradimo modele, ki so bodisi razumljivi (prosojni, sivi) za strokovnjake iZ aplikativnega področja bodisi točni in natančni pri napovedovanju. V našem primeru potrebujemo točno in natančno kratkoročno napovedovanje. Uporabljamo modele črnih škatel, ki ne slonijo na ekspertnem poznavanju sistema in ne vsebujejo znanja o sistemu, ki te vrste ustvarja. Iščemo model za napovedovanje, ki najbolj dosledno XXVI sledi spreminjanju veličine, ki jo modeliramo. Ta naj ima določeno strukturo, naj bo fleksibilen in naj bi se v preteklosti izkazal kot uspešen pri reševanju podobnih problemov. Osnovni koraki modeliranja črnih škatel so naslednji: najprej izberemo tip modela, ki pripada določenemu strukturnemu razredu. Določimo metodo za njegovo izgradnjo. Določimo parametre, ki se nanašajo na velikost modela. Z uporabo podatkov, ki opisujejo opazovani sistem, določimo vrednosti parametrov modela, ki ustrezajo izbrani velikosti. Pri izbiri najboljšega modela %a napovedovanje se ne ukvarjamo z razumljivostjo njegove strukture, kar je naloga modeliranja sivih in prosojnih škatel, ampak z njegovo zmotnostjo, da pri kratkoročnem napovedovanju naredi čim manjšo napako na podatkih, ki jih nismo uporabili pri izgradnji modela. Pri tem uporabljamo regresijske metode (navadno linearno regresi/o, pace regresi/o, lokalno utečeno regresi/o, regresijska drevesa), klasične statistične metode (ARIMA in eksponentno glajenje), različne tipe nevronskih mrež (večnivojski perceptron, FIR-večnivojski perceptron, GMDH mrežp, rekurentno mrežp) in metodo podpornih vektorjev %a regresi/o. Z enotno izvedenimi poskusi ocenjujemo uspešnost napovedovanja izbranih modelov na omenjenih domenah. Njihovo robustnost testiramo na šumnik podatkih. Med najbolj uspešnimi modeli izbiramo predstavnike z uporabo neparametričnih testov v statistiki, kot je izboljšani Friedmanov test. Ugotavljamo, da ima za kratkoročno napovedovanje večji pomen postopek iskanja optimalnega prediktorja v skupini sorodnih prediktorjev kot izbira same metode. FJjub uporabi modelov na nivoju vhodno-izpodne preslikave pa je pomembno razjskovalčevo poznavanje uporabljenega orodja in osnovnih lastnosti vrste v tolikšni meri, da lahko z obvladovanjem prostora parametrov poišče optimalniprediktor. Uporabljene časovne vrste so različno napovedljive ne glede na model, ki ga uporabimo %a napovedovanje. Med časovnimi vrstami enosmerne napetosti ugotavljamo, da sta najbolj napovedljivi časovni vrsti Rej A. in ZEN6. RefA ustvarja ustrezno staran napetostni referenčni element tipa LTZ1000 v temperaturno stabilnem okolju. Časovno vrsto ZEN6 ustvarja Zenerjeva dioda tipa LM329, ki ima med desetimi sorodnimi diodami najmanjši standardni odklon. Tudi te meritve izvajamo v temperaturno stabilnem okolju. Eksperimentalno potrjujemo predpostavko, da lahko z zaporedno vezavo štirih Zenerjevih diod teoretično zmanjšamo standardni odklon vrste, ki je na izhodu skupine za faktor dve v primerjavi s standardnim odklonom vrste posameznega elementa. Majhna napaka pri napovedovanju napetosti zaporedne skupine je bolj posledica manjše variabilnosti in izrazito trendnega obnašanja časovne vrste in manj uspešnosti modela, s katerim napovedujemo. Na primeru napovedovanja časovne vrste napetosti RefA ocenjujemo uspešnost napovedovanja različnih modelov z različnimi merami kakovosti. Prediktorji kanejo izenačeno uspešnost z majhno prednostjo večnivojskega perceptrona. 1/ smislu hitrosti učenja in občutljivosti na začetne parametre ima prednost metoda podpornih vektorjev. Posebno pozornost posvečamo algoritmu za določanje predikcijskih intervalov modelov črnih škatel, ki ga izbiramo v skladu s filozofijo modeliranja s črnimi škatlami in si hkrati želimo, da bo zadoščal potrebam merilne tehnike. Z drugimi besedami si želimo, da bodo predikcijski intervali dovolj ozki oziroma, da čim bolj natančno xxvii napovedujemo izhodno napetost. Hkrati si ^elimo, da bodo zadosti široki, da bodo ob simulaciji napovedovanja na testnih podatkih »pokrili« vse prave vrednosti napetosti. V skladu s scenarijem modeliranja s črnimi škatlami %a določanje predikcijskih intervalov uporabljamo metodo razmnoževanja učnih primerov (angl. bootstraping). 1% podane učne množice zgradimo nekaj modelov. Pri določanju predikcijskih intervalov točkovnih napovedi uporabljamo srednjo absolutno napako njihovih napovedi. Predikcijske intervale bi lahko uporabili kot diagnostični algoritem za zaznavanje nepravilnosti pri delovanju skupinskih virov napetosti in sicer za izločanje elementa iz^ skupine. Recimo, da smo za vsak element posebej zgradili predikcijski model ali skupino modelov. Pri izgradnji modelov smo uporabili meritve, ki smo jih dobili s kakovostnim inštrumentom ^ zagotovljeno sledljivostjo ali s kalibracijsko meritvijo. V času med umerjanji za ocenjevanje napetosti uporabljamo modele za kratkoročno napovedovanje, ki so opremljeni s predikcijskimi intervali. Modeli napovedujejo trenutne vrednosti na podlagi ocen, kijih dobijo na svojih vhodih s pomočjo AD pretvornika ali poceni instrumenta. Za sledenje napetosti uporabljamo predikcijske vrednosti za en korak naprej. Predikcijske intervale lahko uporabimo pri ocenjevanju delovanja elementov za en korak nazaj: če se zgodi, daje ocenjena vrednost s strani AD pretvornika izven predikcijskih intervalov, ki se nanašajo na to napoved, potem lahko sistem za sledenje napetosti predlaga izločitev elementa. Glede na to, da so modeli zgrajeni ^ dolgoročnimi meritvami, bi to lahko pomenilo, daje element začel »lesti« prehitro, ali da seje ^ delovanjem tega elementa zgodilo karkoli, česar nismo mogli predvideti in je to zadostni razlog za izločitev. Negotovosti zaradi modeliranja uvrščamo med ostale negotovosti pri ocenjevanju negotovosti merilnega sistema, s katerim sledimo izhodni napetosti. Ukvarjamo se ^ vzroki, ki povzročajo te negotovosti. Obravnavamo jih kot negotovosti zaradi modela samega (parametrov modela) in negotovosti zaradi podatkov ali spremembe okolja obratovanja (model smo zgradili ^ enimi podatki, napovedujemo pa druge). Pri tem izpostavljamo pomen srednje absolutne napake, ki bolj strogo kot srednja kvadratn napaka ter v skladu meroslovnimi kriteriji ovrednoti negotovost modela. Osnovni namen disertacije je ovrednotiti uporabo metod za prediktivno modeliranje časovnih vrst na realnih problemih, zlasti na ožjem znanstvenem področju merilne tehnike. Ugotavljamo, da so modeli za kratkoročno napovedovanje uporabni za kratkoročno napovedovanje ali ocenjevanje prave vrednosti napetosti. V meroslovnem smislu so še posebejpomembni predikcijski intervali točkovnih napovedi. XXVIII SHORT-TERM PREDICTION OF TIME SERIES ON THE ČASE OF DC VOLTAGE SOURCES Abstract In the maintenance o/DC voltage source an important rollplajs the monitoring ofthe metrological parameters of the sjstem between two calibrations. A.n expensive measurement sjstem is needed for that purpose. We built predictive models to obtain insight in the behaviour of voltage reference elements, n>hich compose the DC source. Software, based on short-term predictive models, is added to the voltage reference elements. Bj this we compose a transparent and an adaptable measurement sjstem. Bj tracking the trend of changes ofDC voltage source, vvhich is performed bj short-term predictors, we estimate the behaviour of voltage referent elements ivithout peforming immediate measurements. To plače the short-term prediction models ofDC voltage ivhich are subject ofour interest in the state-of-the-art of measurement technique, n>e describe models for long-term prediction ofoutput voltage of semiconductor voltage reference elements. Thej were developed in research metrological laboratories such as NIST, lahoratories of companies Fluke and VMetrix and in metrological laboratorj of US armj. Thej mainlj model the drift ofDC voltage reference elements in limited tirne period ivith estimating uncertainties rvhich influence DC voltage. Models were developed to predict or "project" the output voltage behaviour betiveen two calibrations, to estimate the uncertainties in this period or to determine number of calibrations necessarj to maintain certain measurement uncertainty. Models mre built bj calihration measurements, measurements gained bj higher order standards or even bj using]osephson's standard. Thej determined that output voltage changing of semiconductor voltage reference elements is deterministic. It is happening according to certain scenario and that it doesn 't reflects irregularities in arbitrarj voltage reference element. Thej also determined that atmosphere pressure, temperature and moisture influence changing of output voltage. Real reasons for the complete djnamic of output voltage are not completelj knonrn but most ofthem can be anticipated bj predictive models. In the dissertation ive deal mth models for short-term prediction of tirne series. The main purpose ofshort term prediction is to estimate the relative change of current value regarding to couple of last estimated values and bj use of models based on (,-*): V praksi se avtokorelacijski koeficienti računajo s pomočjo avtokovariančnih koeficientov \Ck\, ki so definirani na naslednji način: ck = 77 Z (x> ~ x)(xt+k - x) Enačba (4.5) N-k i=\ Avtokorelacijski koeficienti so definirani: rk = y Enačba (4.6) Graf avtkorekcijskih koeficientov imenujemo korelogram. Običajno poda vizualno informacijo o naravi procesa, ki ga modeliramo, čeprav njegovo interpretiranje ni vedno enostavno. Za pravilno interpretiranje korelograma je pomembna ocena standardne napake računanja avtokorekcijskih koeficientov. Večina avtorjev za interval zaupanja uporablja oceno ± 2(1,96) standardna napaka računanja avtokorekcijskih koeficientov, ob predpostavki, da so napake normalno razporejene skozi časovno vrsto. Standardno napako ocenimo z y ,— ob predpostavki, da je časovna vrsta slučajna. Avtokorelacijski koeficienti izven +21 ^]N ali ±1,96/y[N imajo večji pomen. Vrednosti rk , ki sodijo izven opisanih meja, so signifikantno različne od 0 pri 5% stopnji zaupanja oziroma signifikance. Signifikanco koeficientov avtokorekcijske in parcialne avto korekcijske funkcije lahko ocenimo tudi z Box-Perceovo Q statistiko (enačba (4.29)) ali Ljung-Boxovo Q statistiko [228]. Testiramo ničto hipotezo, da se množica avtokorekcijskih koeficientov časovne vrste, ki jo obravnavamo, nanaša na slučajni proces. Programski paket SPSS [228] uporablja modificiran portmonteau test ali Ljung-Boxovo 38 ANALIZA IN MODELIRANJE ČASOVNIH VRST 47 Q statistiko4', ki za krajše časovne vrste omogoča boljše % testiranje značilnosti v primerjavi s starejšo Box-PerceovoQ statistko: Ljung-Box Q Statistika= N(N + 2)£ k=\ N-k Enačba (4.7) 7V je dolžina časovne vrste, m je največji časovni zamik in rk so avtokorelacijski koeficienti. Časovne vrste slučanih procesov, ki so »dovolj dolge« ali dolge N vzorcev, imajo rk « 0 (avtokorelacijski koeficienti večinoma ležijo znotraj ± y >—, kot kaže Slika 4.2). Stacionarne časovne vrste, ki kažejo kratkoročne korekcije imajo običajno r{, ki mu sledi še nekaj rk, značilno večjih kot 0 . Pri teh vrstah se za večje časovne zamike vrednosti rk približujejo 0 [27]. Slika 4.3 prikazuje korelograma dveh časovnih vrst: časovne vrste enosmerne napetosti na izhodu NRE tipa LTZIOOO (podpoglavje Domena enosmerne napetosti v poglavju SPLOŠNO O DOMENAH) ter časovne vrste fraktalno Brownovo gibanje (opisana v istem poglavju, podpoglavje Fraktalna Brownova gibanja ali 1/f šum). Slika 4.2: Avtokorelacijski koeficienti (korelogram) belega šuma. Prekinjena črta označuje področje zaupanja za avtokorelacijske koeficiente ± 2/VN . Večina koeficientov rk,k> 1 pripada temu področju. 47 Portmonteau test imenujejo uporabo Q statistike za testiranje predpostavke, da se množica avto ko relacijskih koeficientov nanaša na naključni proces. 39 Opisne metode Slika 4.3: Avtokorelacijski koeficienti (korelograma) procesov, ki imajo »omejen spomin«: a) Korelogram časovne vrste AT enosmerne napetosti LTZ1000; b) Korelogram časovne vrste, ki predstavlja fraktalno Brownovo gibanje, FBM2. Parcialni avtokorelacijski koeficienti so podobno orodje kot korelogram [119], [228]. Parcialni koeficient pri časovnem zamiku / meri korekcijo med trenutno vrednostjo in vrednostjo oddaljeno i korakov, potem ko zanemarimo vpliv vseh vzorcev, ki so oddaljeni manj kot i. Osnovni namen le-te je razlikovanje med avtoregresijskimi procesi reda 1 od tistih, ki so višjega reda, saj je le prvi parcialni avtokorelacijski koeficient pri avtoregresijskem procesu reda 1 značilno večji od ostalih. Slika 4.4 prikazuje parcialne avtoregresijske koeficiente za časovno vrsto enosmerne napetosti LTZ1000. Slika 4.4: Parcialni avtokorelacijski koeficienti za časovno vrsto AT enosmerne napetosti LTZ1000. Slika 4.5: a) Koeficienti avto ko relacijske funkcije ter b) parcialne avtokorelacijske funkcije za časovno vrsto tipa LTZ1000 (Ref A). 40 ANALIZA IN MODELIRANJE ČASOVNIH VRST Slika 4.6: a) Koeficienti avtokorelacijske funkcije ter b) parcialne avtokorelacijske funkcije za časovno vrsto spremenljivke ^ Lorenzevega sistema. Avtokorelacijsko in parcialno avtokorelacijsko funkcijo lahko uporabimo pri modeliranju procesov z Box-Jenkinsovimi ARIMA modeli [17], [27], pri izbiri parametrov modela. Za identifikacijo statistične narave procesa, ki ustvarja vrsto, se uporabljata še inverzna avto korekcijska funkcija in razširjena vzorčna avtokorelacijska funkcija [228] (Slika 4.7). Kadar gre za proces z dominantno avtoregresijsko naravo, avtokorelacijska funkcija običajno pada [17], [27] (z alterniranjem ali brez), kot smo opisali pri teoretičnem opisu AR(p), v podpoglavju Avtoregresijski proces na strani 46. Za določanje zgornje meje reda procesa AR(p) si pomagamo s parcialno avtokorelacijsko funkcijo, saj iz te preberemo vrednost p, do katere so vrednosti koeficientov parcialne avtokorelacijske funkcije še značilne. Slika 4.4 in Slika 4.7 b) kažeta, da bo pri časovnih vrstah enosmerne napetosti AT tipa LTZ1000 zgornja meja za p 4. Za časovno vrsto Ref A je zgornja meja za p 5 do 6 (Slika 4.5 b)). Za časovno vrsto spremenljivke % Lorenzevega sistema pa je zgornja meja za^> 6 (Slika 4.6). Avtokorelacijska funkcija časovnih vrst s trendom zelo počasi pada in ni koristna pri določanju narave procesa, ki to vrsto ustvarja. Tako vrsto največkrat diferenciramo, da iz nje dobimo stacionarno vrsto [27]. Časovne vrste napetosti, ki jih ustvarjajo diode tipa LM329 ter skupina štirih zaporedno vezanih diod tipa LM329 vsebujejo trend (Slika 3.7 na strani 26, Slika 4.1 na strani 36), zato smo avtokorelacijsko funkcijo in parcialno avtokorelacijsko funkcijo v obeh primerih ocenili na diferenciranih podatkih (Slika 4.8, Slika 4.9). Opažamo, da se ocenjeni avto korekcijski funkciji za diferencirani časovni vrsti (LM329 in skupina zaporedno veznih LM329) bistveno razlikujeta po obliki od tistih, ki smo jih dobili na sicer nediferenciranih časovnih vrstah LTZ1000. Pri opisu teoretičnih osnov procesov drsečega povprečja MA{q) smo v podpoglavju Drseče povprečje na strani 45 pokazali, da je avtokorelacijska funkcija teh procesov omejena. Pri iskanju reda procesa q zadošča, če za zgornjo mejo q vzamemo število avto korekcijskih koeficientov, ki se signifikantno razlikujejo od 0. V primeru časovne vrste LM329 (ZEN6) je to 6 (Slika 4.8a)), medtem ko je v primeru 41 Opisne metode skupine (Slika 4.9) to le 2. Ocenjeni parcialni avtokorelacijski funkciji pa v primeru modeliranja z drsečim povprečjem nista uporabni [27]. Slika 4.7: a) Koeficienti razširjene vzorčne avtokorelacijske funkcije ter b) razširjene vzorčne parcialne avtokorelacijske funkcije za časovno vrsto tipa LTZ1000 (AT). 10 20 30 časovni zamik Slika 4.8: a) Avtokorelacijski koeficienti in b) parcialni avtokorelacijski koeficienti diferencirane časovne vrste napetosti najbolj stabilne diode LM329 (ZEN6). Slika 4.9: a) Avtokorelacijski koeficienti in b) parcialni avtokorelacijski koeficienti diferencirane časovne vrste napetosti skupine štirih zaporedno vezanih diod LM329. č C '0 C b) 1 0,8 0,6 0,4 0,2 0 -0,2 0 -W— 20 —3fr- časovni zamik Slika 4.10: a) Avtokorelacijski koeficienti in b) parcialni avtokorelacijski koeficienti časovne vrste FBM1. 42 ANALIZA IN MODELIRANJE ČASOVNIH VRST Slika 4.11: a) Avtokorelacijski koeficienti in b) parcialni avtokorelacijski koeficienti časovne vrste FBM2. 4.3 Verjetnostni modeli Realne časovne vrste vsebujejo komponento slučajnosti. Velikokrat so produkt stohastičnih procesov, ki jih opisujemo kot fizikalne fenomene, ki se razvijajo s časom v skladu z verjetnostnimi zakoni. Ko opazujemo proces, določena časovna vrsta predstavlja možno realizacijo tega procesa. Označujemo jo s slučajno spremenljivko X(t\{—oo 0. Pri n = 2 sta pridruženi distribuciji k X(t{) in X(t2) odvisni le od časovnega zamika t ~t2~tx. Avtokovarianca, enačba (4.10), dobi obliko: y{r) = E§X{i) - Ju\X{t + r) - ju]} Enačba (4.11) Standardizirana avtokovarianca je avto korekcijska funkcija: P^ = r(TX(0) Enačba (4.12) Empirični model avtokorelacijske funkcije za diskretne časovne vrste je bil opisan v podpoglavju Avtokorelacija v tekočem poglavju, v enačbah (4.4), (4.5), (4.6). Šibka ali stacionarnost drugega reda je manj zavezujoča in pomeni, da je povprečje časovne vrste konstantno in je avto korekcijska funkcija odvisna le od časovnega zamika [20], [27]. Šibka stacionarnost je velikokrat predpogoj za uporabo algoritmov za modeliranje, med katerimi so ARMA modeli [17], [27], [119], [125]. 4.3.1 Primeri stohastičnih procesov Pri modeliranju časovnih vrst z verjetnostnimi modeli si pomagamo z opisom osnovnih lastnosti matematičnih modelov in njihovih avtokorekcijskih funkcij. Ogledali si bomo opise določenih tipov stohastičnih procesov, kot so drseče povprečje, avtoregresijski procesi in kombinacije leten. V statistiki (kot bomo videli pozneje v poglavju NAPOVEDOVANJE ČASOVNIH VRST), je poudarek na modelih, ki predstavljajo matematično predstavitev realnosti (na primer avtoregresijski proces reda 1, AR(1J) in ne na metodah, ki v statistiki predstavljajo pravila za izračunavanje ene ali več prihodnjih vrednosti (na primer drseče povprečje ali nevronska mreža, ki realizira nelinearno regresijo). identifikacijo modela, ocenjevanje, diagnozo ali meta-diagnozo in napovedovanje. ARIMA model je predstavljen z notacijo ABJMA(p, d, q), pri čemer ]ep red avtoregresije, d diferenciranja in q drsečega povprečja. Pri stacionarnih časovnih vrstah se uporablja ARMA(p, q) model. 44 ANALIZA IN MODELIRANJE ČASOVNIH VRST 4.3.1.1 Slučajni proces - beli šum jsjek diskreten proces je povsem naključen, če vsebuje množico slučajnih spremenljivk \Zt\, ki s0 medsebojno neodvisne in enakomerno razporejene. Po definiciji ima konstantno povprečje in varianco, kar pomeni, da je stacionaren. Njegovo avtokorelacijsko funkcijo prikazuje Slika 4.2. Avtokorelacijski koeficienti rk ali p{k) « 0,k = ±1,±2,..., oziroma p(0) « 1. 4.3.1.2 Slučajni sprehod Naj bo \Zt} diskreten, slučajen proces s povprečjem JU in varianco q p(-k) k<0 Enačba (4.15) kaže, da je avtokorelacijska funkcija drsečega povprečja omejena. Več različnih MA(q) procesov ima lahko identično avtokorelacijsko funkcijo [27]. Proces MA(q) je povraten, oziroma ga lahko rekonstruiramo iz njegove avtokorelacijske funkcije, če koreni enačbe 0(B) = 0 ležijo izven enotinega kroga. 4.3.1.4 Avtoregresijski proces Naj bo \Zt} diskreten, slučajen proces s povprečjem jU = 0 in varianco <7Z. Proces \Xtj je avtoregresijski proces (angl. autoregressive) reda p AR(p), ki je definiran z enačbo: Xt = axXt_x +... + apXt_p + Z, Enačba (4.16) To je proces, kjer dobimo zadnjo vrednost slučajne spremenljivke ali trenutno vrednost Xt kot linearno kombinacijo predzadnjih p vrednosti, ki jim prištejemo naključno komponento (napake) Zt. Proces AR(\) imenujemo Markovski proces [25]. Definira ga enačba: Xt = axXt_x + Zt Enačba (4.17) Med AR in MA velja dualnost. Enačbo (4.17) lahko izrazimo kot MA neskončnega reda za yx\ < 1, oziroma Xt = Zt +aZt_x +a Zt_2 +... Avtokorelacijska funkcija je definirana [17], [20], [27]: p(k) = alhl,k = 0,±1,±2,... Enačba (4.18) Enačba (4.18) kaže, da je avtokorelacijska funkcija padajoča, saj je \a\ < 1, in sicer hitreje pada za manjše in pozitivne vrednosti a . Ce pa je a negativen, alternira. AR proces reda q lahko definiramo z operatorjem zamude B z enačbo: (l-alB-...-apBp)Xl =Z, ali Xt =Zt/(l-axB-...-apBp) Enačba (4.19) 46 ANALIZA IN MODELIRANJE ČASOVNIH VRST Avokorelacijsko funkcijo AR(p) procesa opisuje množica Yule-Walkerjevih enačb [25]: p(k) = axp(k-1) +... + app{k -p),k>0 Enačba (4.20) V skladu z rešitvijo Yule-Walkerjevih enačb je proces stacionaren za določen nabor vrednosti parametrov {#,-}, za katere velja (j)(B) = 1 - axB -... - apBp = 0. Potrebni in zadostni pogoj za stacionarnost je zahteva, da koreni enačbe (f>{B) ležijo izven enotinega kroga [25]. Vrednosti avtokorelacijske funkcije, ki je neskončna (enačba (4.20)), so rahlo padajoče, če k narašča. Njena oblika pa je bodisi padajoče eksponentna bodisi padajoče sinusne periode [17], [27]. 4.3.1.5 ARMA proces Realne časovne vrste po svojih lastnostih velikokrat spominjajo na kombinirane avtoregresijske in modele drsečega povprečja, AR in MA. Kombiniran proces, ki predstavlja AR reda p in MA reda q ali ARMA(p,q) je podan z enačbo: Xt = axXt_x +... + apXt_p + Z, + fixZt_x +... + pqZt.q Enačba (4.21) Enačbo (4.21) lahko napišemo z uporabo operatorja zamude B na naslednji način: (B) = 0 in ležijo izven enotinega kroga, je AR proces stacionaren. Za določen nabor {/?,}, ko so koreni 0(B) = 0 in ležijo izven enotinega kroga, je MA proces invertibilen. Avtokorelacijska funkcija je neskončna, rahlo padajoča, v obliki padajočih eksponentov ali sinusnih period [17], [20], [27]. 4.3.1.6 ARIMA proces Realni procesi velikokrat niso stacionarni. Da bi dobili stacionarne vrste, začetno časovno vrsto diferenciramo. V modelu ARMA Xt zamenjamo z V Xt. Dobimo model, ki ga opišemo s 47 Verjetnostni modeli pridevnikom integrirani, saj mora biti model, ki ga dobimo na diferenciranih podatkih prištet ali integriran s prvotno časovno vrsto. Model ARIMA(p,d,q) je definiran z enačbami: 'd v /i n\d wt =vax=(i-Byxt 1 Enačba (4.24) Wt =alWt_l +... + apWt_p +Z, + ... + £fZ^ Podobno enačbi (4.22) lahko ARIMA(p,d,q) definiramo z enačbo: (j){B)Wt = 6{B)Zt Enačba (4.25) V praksi se največkrat uporablja ARIMA model z d = 1 (časovna vrsta, ki je enkrat diferencirana). 4.3.1.7 Splošni linearni proces Splošna oblika linearnega procesa je podana z modelom drsečega povprečja neskončne stopnje: 00 *,-/< = £AZw Enačba (4.26) MA in AR sta posebna primera splošnega linearnega procesa. 4.3.1.8 Sezonski ARIMA proces Realne časovne vrste pogosto vsebujejo periodično, sezonsko komponento. Ce gre za mesečna opazovanja (s = 12), potem pričakujemo, da bo Xt odvisen od Xt_u. Box in Jenkins [17] sta posplošila model ARIMA in zgradila SARIMA , ki ga opiše naslednja enačba: ^(B)Op(B')W,=0g(B)0e(B')Z, Enačba (4.27) kjer je B operator časovnega zamika, (f) ,0P,# ,0g so polinomi p,P,q,Q stopnje, Zt je slučajni proces in Wt =V VsXr Spremenljivke {^} dobimo iz originalne časovne vrste \X(\, ne samo z navadnim diferenciranjem, da bi odstranili trend, ampak tudi s sezonskim diferenciranjem. Na primer, če je s = 12, d = D = \ potem je Wt = VV12X, = ...(Xt-Xt_l2)-(Xt_l -Xt_l3). Red modela je (p,d,q)x(P,D,Q), pri tem sta običajno d = D = l. 48 ANALIZA IN MODELIRANJE ČASOVNIH VRST 4.3.2 Splošna načela modeliranja v časovni domeni z ARIMA modeli Modeliranje s pomočjo ARIA4A modelov sodi v modeliranje v časovni domeni. Najbolj enostavno diagnostično orodje, ki smo ga uporabili že v podpoglavju Avtokorelacija na strani 38, je avtokorelacijska funkcija. Slika 4.3 a), Slika 4.4, Slika 4.7 kažejo avtokorelacijske funkcije, korelograme nekaterih signalov enosmerne napetosti, ki so predmet našega modeliranja ter avtokorelacijske funkcije slučajnih signalov (Slika 4.2) in fraktalnih Brownovih gibanj, ki so delno slučajna (Slika 4.3 b). Modeliranje v časovni domeni poteka po naslednjem scenariju: • Glede na lastnosti avtokorelacijske in parcialne avtokorelacijske funkcije se izkustveno odločimo za model; »• Odločimo se za red modela; • Z določenim algoritmom poiščemo parametre modela. Modeliranje z uporabo avtoregresijskih modelov pomeni določitev parametrov \ptk\ iz enačbe (4.17), medtem ko na primeru drsečega povprečja določimo množico parametrov jU in{/3k} iz enačbe (4.14). Število parametrov, ki jih iščemo pa predstavlja red procesa, na primer AR(p) je reda p in MA(q) je reda q. Parametre določimo z različnimi optimizacijskimi procedurami, ki minimizirajo razliko med vrednostjo v časovni vrsti in vrednostjo, ki jo »napove« model, kot merilo pa uporabljajo vsoto kvadratov ali srednjo kvadratno napako. Največkrat se za ocenjevanje parametrov uporabljajo cenilke največjega verjetja (angl. maximum likelihood estimators, MLE). Ce je v korelogramu, ki je vzorčna avokorelacijska funkcija, prva vrednost rx večja od ostalih, potem modeliramo z drsečim povprečjem, M4(l). Ce pa rj,r2,r3,... eksponentno padajo, potem je najbrž bolj ustrezen model AR(\) . Pri dovolj velikem vzorcu ali časovni vrsti, ki je dovolj dolga, vrednosti avtokorelacijskih koeficientov rk (enačba (4.4)) predstavljajo cenilke aH ocene vrednosti p(k) (enačba (4.12)) [125]. Slika 4.3 in Slika 4.7 kažeta, da avtokorelacijski koeficienti eksponentno padajo, kar pomeni, da se bomo odločili za avtoregresijski model, AR. Določanje reda modela avtokorelacijske funkcije je težavno opravilo. Pomagamo si s parcialno avtokorelacijsko funkcijo [25]. Avtokorelacijske in parcialne avtokorelacijske koeficiente smo opisali v podpoglavju Avtokorelacija (stran 38). Vzorčna parcialna avtokorelacijska funkcija ali parcialni avtokorelacijski koeficienti so dobljeni z modeliranjem AR modelov različnega reda, in sicer: najprej interpoliramo ^4^(1) in 49 Verjetnostni modeli nx ocenimo z vrednostjo rx, potem interpoliramo AR(2) in dobimo oceno 7t2 z vrednostjo r2 itn. Vrednosti JZk, ki ležijo izven ± y j— so signifikantno različne od 0 pri 5% stopnji zaupanja. Dokazali so [17], [27], da parcialni avtokorelacijski koeficienti procesa AR(p) za časovne zamike, ki so večji kot p dobijo vrednosti okoli 0. Ce torej želimo določiti red modela kot povratno informacijo iz parcialne avtokorelacijske funkcije časovne vrste, ki jo modeliramo, potem izbiramo med vrednostmi zamika, ki so pred vrednostjo, od katere naprej parcialni avtokorelacijski koeficienti niso značilno različni od 0. V primeru procesa drsečega povprečja MA(q) bo parcialna avtokorelacijska funkcija počasi padala, kar pomeni, da le-ta kaže nasprotne lastnosti od avtokorelacijske funkcije. Red modela MA{q) določimo iz avtokorelacijske funkcije tako, da testiramo zamike manjše od tistega od koder naprej se vrednosti signifikantno ne razlikujejo od 0. Pri določanju parametrov modela namesto drsečega povprečja uporabimo avtoregresijski model visokega reda, saj med modeloma obstaja dualnost (podpoglavje Avtoregresijski proces na strani 46) [27]. S tem se izognemo ocenjevanju parametrov MA(q), ki je po definiciji računsko zahtevno in numerično ne vedno obetavno [17]. Največkrat uporabljamo iterativno optimizacijsko proceduro, kot je na primer gradientna metoda, ki žal »pripelje« do lokalnih optimumov. Velikokrat je informativno izrisovanje hiper-ravnine, ki kaže odvisnost napake od parametrov. Pri modeliranju z ARIMA(p,d,q) modeli uporabljamo podobne prijeme kot pri modeliranju z MA{q). Vrednosti parametrov JU, \ak}, \J3k} lahko ocenjujemo različnimi algoritmi, pogojnimi in brezpogojnimi najmanjšimi kvadrati, največkrat pa z algoritmi največjega verjetja, MLE. V disertaciji za izgradnjo ARIMA modelov uporabljamo programska paketa Statistica in SPSS. Programski paket SPSS pri izgradnji ARIMA(p,d,q) modela uporablja samo MLE, medtem ko pri napovedovanju lahko izbiramo med pogojnimi in brezpogojnimi najmanjšimi kvadrati. SPSS uporablja Melardov hitri algoritem največjega verjetja [228]. Statistica pa uporablja tudi iterativen postopek za izračun parametrov, s kvazi-Newtonovo metodo minimizira funkcijo napake ter enako kot SPSS uporablja cenilko največjega verjetja [188]. Pri iskanju najboljšega modela lahko uporabimo množico različnih algoritmov, in to bodisi za ocenjevanje začetnih vrednosti parametrov bodisi za izračun parametrov modela (na primer Hannan-Rissanen rekurzivna regresijska procedura, Kalmanov filter [27] in drugi). 50 ANALIZA IN MODELIRANJE ČASOVNIH VRST 4.3.3 Splošne opazke v zvezi z modeliranjem fCako za določeno časovno vrsto izberemo ustrezen verjetnostni model z ustreznimi parametri je odvisno od lastnosti časovne vrste, ki so vidne iz časovnega diagrama, avtokorelacijske funkcije ter tudi od namena modeliranja (kratkoročno ali dolgoročno napovedovanje ter razumevanje narave procesa). Samo modeliranje poteka v treh fazah: • Specifikacija modela; • Izgradnja modela; • Verifikacija modela. Modeliranje se lahko začne z diferenciranjem časovne vrste. Potem izberemo tip modela med AR, MA, ARMA saj večina statističnih programskih paketov izgradi model samodejno, ob specifikaciji parametrov. 4.3.4 Analiza ostankov Pri izgradnji modela nas najbolj zanima, ali je model ustrezen, ali model »dovolj dobro« opisuje podatke, ki jih modeliramo. Merilo za ustreznost modela je analiza ostankov (angl. residualš). Ostanek definira naslednja razlika: ostanek = opazovana_vrednost - vrednost_modela Enačba (4.28) Vrednost modela je običajno napoved, ki jo model poda za en korak vnaprej, medtem ko je ostanek napaka te napovedi ali njeno odstopanje od »prave vrednosti«. Za model menimo, da je »dovolj dober«, ko so ostanki naključni in blizu 0. Ostanki tvorijo tudi časovno vrsto, ki jo lahko izrišemo in računamo njen korelogram [27]. Ce smo z modelom zajeli »poglavitne« lastnosti časovne vrste, potem bodo ostanki normalno razporejeni, s povprečjem 0 in varianco l/N, za ustrezno dolgo časovno vrsto, ki je dolga N vzorcev. Iz časovnega diagrama ostankov izvemo več podatkov (na primer, ali smo z modelom zajeli ciklične komponente, vidimo pa tudi izpade). Ce dobro izberemo model, je korelogram ostankov podoben korelogramu slučajnega procesa, ki ga kaže Slika 4.2. Ce modeliramo na primer AR(l) proces, z a = 0,7, s 95% gotovostjo so meje zaupanja za rx ± l,3/VAr, za r2 so ±1,7/JN ter za rk,k>2 so ±2l). Negativne frekvence nimajo vpliva na varianco, medtem ko je največja možna varianca pri n oziroma F{n) — Var{Xt) = ogosto podan s funkcijo f(co) = y(0) + 2^y(k)cos(G)k) Za realne časovne vrste funkcija spektra je f(co) soda funkcija in jo zato opazujemo le za Cd > 0 [27]. Normalizirana oblika funkcije spektralne gostote ima obliko: f (co) = f(co)/cjx=—------ dco Enačba (4.38) Hkrati f (co) predstavlja Fourierevo transformacijo avtokorelacijske funkcije: 71 1 + 2^ p(k) cos(cok) [146]. Znani modeli statističnih procesov imajo znane oblike spektrov. Slučajni proces, ki smo opisali v podpoglavju Slučajni proces - beli šum na strani 45, ima konstanten spekter v območju (0,/r) , oblike f(co) = oz In. V naravi ni mogoče najti procesa belega šuma, zato pa imajo njegove približne realizacije spekter, ki se obnaša podobno za vse frekvence (Slika 4.12). Oblika spektra procesa drsečega povprečja, ki smo ga opisali na strani 45, je odvisna od vrednosti parametra J3. Ce je proces prvega reda in je /? > 0, spekter ima poudarjene nizke frekvence. Ce je /?<0, spekter ima poudarjene višje frekvence. Ce je avtoregresijski proces, ki smo ga v splošni obliki opisali na strani 46, prvega reda, potem ima njegov spekter obliko, odvisno od )arametra a . Ce je a>0, potem je moč signala koncentrirana okoli nizkih frekvenc. Ce je a<0, je moč signala koncentrirana okoli visokih frekvenc. Avtoregresijski procesi imajo spektre, ki imajo več vršičkov [27]. Najbolj podoben avtoregresijskenu modelu je signal fraktalnega Brownovega gibanja, ki smo ga opisali v poglavju SPLOŠNO O DOMENAH, v podpoglavju Fraktalna Brownova gibanja ali 1/f šum, stran 27 (Slika 4.13). Fraktalna Brownova gibanja so dobila ime 1/f šum, ker je oblika njihovega spektra Sv(f) = f~a in je eden izmed načinov za njihovo ustvarjanje spektralna sinteza. Za signal, ki ga opisuje Slika 3.10 na strani 30 je izbrana vrednost parametra a = 1,25. 55 Modeliranje v frekvenčni domeni Slika 4.12: Močnostni spekter belega šuma. Slika 4.13: Močnostna spektra dveh tipov fraktalnega Brownovega gibanja a) FBM1 in b) FBM2. Slika b) predstavlja spekter 1/f šuma. Sliki sta v lin/log merilu. 4.4.3 Spektralna analiza Spektralna analiza je metoda za ocenjevanje funkcije spektralne gostote ali spektra za različne časovne vrste. Osnovni namen spektralnih analiz je odkrivanje skritih periodičnih vzorcev, ki pripadajo različnim frekvencam. Spektralna analiza predstavlja modifikacijo Fouriereve analize [27]. Stohastično časovno vrsto vidimo kot vsoto sinusnih in cosinusnih komponent, ki sestavljajo Fourierevo vrsto [146]. Fourierevo analizo izvajamo na diskretnih časovnih vrstah, tj. zanimajo nas predstavitve Fouriereve vrste v celoštevilčnih intervalih 1,2,... N. Pri ekvidistantnih meritvah, kot smo že povedali, je pomembno, da bo interval med dvema meritvama izbran na takšen način, da ni izgube splošnih lastnosti pri ocenjevanju spektra časovne vrste, ki jo ta meritev predstavlja na intervalu spektra (0,7l) . Z določitvijo Nyquistove frekvence določimo najvišjo frekvenco, s katero dobimo časovne vrste, ne da bi izgubljali pomen zaradi vzorčenja. Ce merimo v časovnih intervalih At, potem je Nyquistova kotna frekvenca coN = nI At. Ekvivalentna frekvenca izražena v ciklih (Slika 4.15, Slika 4.20, Slika 4.21) na enoto čas je fN =eoN /2n = l/2At. 56 ANALIZA IN MODELIRANJE ČASOVNIH VRST 4.4.3.1 Analiza periodograma 2 željo, da bi odkrili periodične vzorce obnašanja v časovni vrsti, si ogledamo njene vrednosti pri določenih frekvencah, kot so 7.711 N,47r/ N,...,7T. Poljubno točko v časovni vrsti lahko razvijemo v končno Fourierevo vrsto: LO.^ (N/2)-A xt=a0+ £ [a cos(2;ipt) + b sm(2q?t)\+ aN/2 cos(/tf) ^ Enačba (4.39) t = \,...,N Pri tem so koeficienti \a ,b } pred sinusnimi in cosinusnimi členi ali koeficienti Fouriereve časovne vrste. Analizo samo imenujemo analizo harmonikov. \a ,b j so definirani: aNI2 - ^(-\)'xt Enačba (4.40) ap = 2[^ xt cos(27ipt IN)]/ N bp =2[^x/sin(2^/A^)]/A^ p = l,...,(N/2)-l S Fourierevo analizo variabilnost časovne vrste razstavimo na komponente pri določenih cikličnih frekvencah, kot so In I N,4tt I N,...,7T. Komponenta pri frekvenci (O = 2npl N je p -ta harmonična komponenta, ki ima tudi obliko: ap cos(copt) + bp sin(copt) = Rp cos(copt + p) RP=^a2p+bl^ Enačba (4.41) (j)p =arctan(-^/«p) pri čemer je Rp amplituda in (j) faza p -te harmonične komponente. Iz Enačbe (4.41) lahko izpeljemo znani Parsevalov izrek [27], [148], ki opiše deleže, ki jih k celotni varianci doprinesejo harmonične komponente: N (NI2)-\ Y,(xi-x)2 /N= Y,Rll2 + Na2Ni2 Enačba (4.42) i=i p=\ Če izrišemo Rp/2 v odvisnosti od frekvenc, dobimo periodogram51 [25], [188]. Periodogram I(co)]e neposredno povezan z avtokovariančnim koeficientom ck, in sicer tako, da 51 Določeni avtorji imenujejo periodogram »vzorčni spekter« [17] ali spektrogram. 57 Modeliranje v frekvenčni domeni periodogram predstavlja diskretno Fourierevo transformacijo \ck\, kot kaže naslednja enačba [25]: C N-\ \ / N-\ ~i0}pk I(cop)= c0+2^ckcos(o)pk) /7T = = ^cke n Enačba (4.43) V k=\ J/ k=-(N-\) ck so ocene avtokovariance, medtem ko je I(cop) ocena močnostnega spektra. Periodogram I(cop) je pionirsko orodje za ocenjevanje močnostnega spektra, žal pa ni konsistentno [25]. Za procese, ki imajo zvezen spekter, ga je potrebno modificirati. Slika 4.14 kaže periodogram in oceno močnostnega spektra spremenljivke % Lorenzevega sistema, ki smo ga opisali v poglavju SPLOŠNO O DOMENAH, na strani 26. Vidimo, da z uporabo cenilke funkcije spektralne gostote ter z uporabo Hammingovega okna32 dobimo zglajene vrednosti spektra, iz katerega je razvidna prisotnost harmonične komponente pri frekvenci približno f0 =0,016 ciklov na časovno enoto, oziroma s periodo T0 = 1 / f0 = 86,2 časovnih enot. Slika 4.14: a) Periodogram in b) močnostni spekter za Lorenzev sistem (spremenljivka 3) v lin-log merilu. Ocenjeni močnostni spekter (b) smo dobili s pomočjo Hammingovega okna dolžine 19. 4.4.3.2 Ocenjevanje močnostnega spektra Obstaja več metod za konsistentno ocenjevanje močnostnega spektra. Metode, ki jih bomo opisali v tekočem podpoglavju, temeljijo na analizi periodograma in njegovemu glajenju [27], [188]. Se preden se lotimo spektralne analize, je potrebno s časovne vrste odstraniti trend (opisali smo ga v Trend v časovnih vrstah enosmerne napetosti na strani 36) in sezonske spremembe (opisali smo jih v Sezonski učinki v časovnih vrstah enosmerne napetosti na strani 37). V nasprotnem primeru bi trend povzročil močno špico pri ničti frekvenci, oziroma bi sezonske spremembe povzročile močne špice pri večkratnikih frekvenc ustreznega obdobja, ki jih imenujemo harmoniki. 52 Opisi cenilke funkcije močnostne gostote in različnih tipov oken so v naslednjem podpoglavju. 58 ANALIZA IN MODELIRANJE ČASOVNIH VRST V tekočem poglavju se ukvarjamo z ocenjevanjem spektra, ki temelji na Fourierevi analizi odsekane in obtežene kovariančne funkcije. Cenilka, ki omogoča obteženo vlogo ck je podana z naslednjo enačbo: K M f(co) = —} XQcQ + 2^Xkck cos(cok) > Enačba (4.44) k=\ pri tem je \Ak j vektor uteži, ki opiše okno dolžne M. V strokovni literaturi so najbolj znana Daniellovo, Tukvjevo, Parzenovo , Bartiettovo in Hammingovo okno [27], [188]: • Daniellovo okno predstavlja transformacijo obteženega drsečega povprečja z enakimi utežmi, kjer je vsaka vrednost spektra izračunana kot povprečje M/2 predhodnih in prihodnjih vrednosti. Tukevevo (Tukey-Hanningovo ali Blackman-Tukevjevo) okno je definirano z utežmi: ( k 2 1 + cos f„W M)) ,£ = 0,1,...,M Enačba (4.45) • Parzenovo okno ie definirano z utežmi: K = 1-6 — + 6 ( k\ M) 2{\-klM) 0y 3,000000 B 2,000000 - & 1,000000 0,000000 0,0001 0,001 0,01 0,1 1 10 frekvenca [log(l/h)] Slika 4.21: Ocenjeni spekter zaporedja štirih najboljših Zenerjevih diod tipa LM329 v lin-log merilu. Cenilka spektra uporablja Parzenovo okno dolžine 9. Primerjali smo vpliv dolžine okna na obliko ocenjenega močnostnega spektra zaporedja štirih diod. Ugotovili smo, da podobno kot v primeru ocenjenega spektra za LTZ1000 (Slika 4.22) okno dolžine 79 preveč zgladi spekter. Pri večji dolžini okna je vidno trendno obnašanje časovne vrste. 63 Testi za razlikovanje dinamike od šuma Slika 4.22: Vpliv dolžine Parzenovega okna na ocenjeni močnostni spekter časovne vrste, ki jo ustvarja zaporedna vezava štirih diod tipa LM329. Slika je v lin-log merilu. Z uporabo Parzenovega okna dolžine 9 smo ocenili močnostni spekter diferencirane časovne vrste ZEN6. Iz Slika 4.23 je razvidno, da ni omejen, kar pomeni, da je diferencirana vrsta šumna. Kljub temu opažamo prisotnost nekaterih značilnih špic, ki odražajo pomembne fluktuacije v diferencirani vrsti. Takšna je urna fluktuacija pri časovni vrstah LM329. 0,12000 0,10000 0,08000 0,06000 0,04000 0,02000 0,00000 -0,02000 0,10000 1,00000 frekvenca [l/h] 10,00000 Slika 4.23: Močnostni spekter diferencirane časovne vrste napetosti diode tipa LM329, ZEN6. Slika je v log/lin merilu. 4.5 Testi za razlikovanje dinamike od šuma Z namenom, da bi še potrdili predpostavko, da modeliramo determinističen dinamičen sistem, kot vir spreminjanja napetosti na izhodu NRE, smo v [129], [130], [131] izvedli izčrpne teste za razlikovanje dinamike od šuma [16], [149] s ciljem, da bi se prepričali, da v časovnih vrstah izmerjene enosmerne napetosti prevladuje determinizem nad šumom. 64 ANALIZA IN MODELIRANJE ČASOVNIH VRST Analiza nelinearnosti temelji na vlaganju časovne vrste napetosti v nek prostor, kjer so nekatere lastnost bolj vidne (na primer v frekvenčnem prostoru) ter na opazovanju lastnosti, ki jih dobimo z izvajanjem testov za razlikovanje nelinearne dinamike od šuma. Predpostavljamo, da je spreminjanje napetosti možno opisati z determinističnim tokom, ki ga lahko poda sistem sklopljenih nelinearnih diferencialnih enačb: y = F(y) Enačba (4.49) kjer vektorsko polje y = (yx,y2,.••>y„) predstavlja stanje sistema, ki ga lahko ponazorimo kot točko v ustrezno definiranem prostoru iS". F = (f{,f2■>•••■>/„) so neznane funkcije, ki so v splošnem nelinearni operatorji, ki delujejo na točkah transformiranega prostora predstavitve. Ta prostor imenujemo fazni prostor [86], [202]. Dimenzionalnost tega prostora se apriori nanaša na število prostostnih stopenj v sistemu. Ocenjujemo jo z metodo razkroja na singularne vrednosti (angl. singular value decomposition, SVD). 4.5.1 Razkroj sistema na singularne vrednosti Časovno vrsto vlagamo v prostor, ki je visoko ali n -dimenzionalen in tvorimo njeno trajektorijo. Vlagamo jo v skladu s Takensovim izrekom [21], ki zagotavlja rekonstrukcijo dinamike sistema. Če je sistem m -dimenzionalen (m v splošnem ne poznamo), potem pa bo možno njegovo dinamiko rekonstruirati v n > 2m +1 dimenzijah. Metodo razkroja sistema na singularne vrednosti opišemo z enačbo [21], [147] : Y = SLCT Enačba (4.50) Y je matrika dimenzije Nxn ,ipn čemer je število vrstic dosti večje od števila stolpcev N » n . S je matrika dimenzije Nxn , sestavljena iz ortogonalnih stolpcev. Matrika C , dimenzije nXn, ima za stolpce {c;.} ortonormirano bazo prostora vlaganja. S in C vsebujeta lastne vektorje matrike Y , diagonalna matrika L pa lastne vrednosti, singularne vrednosti, ki so Gt > 0 . Iz časovne vrste jemljemo po n elementov, ki so za J mest razmaknjeni med seboj. Tako zgradimo zaporedje vektorjev, ki pripadajo prostoru vlaganja. Vektorji yi tvorijo trajektorijo: y, = k, v/+r v,v/+(w_1)r J Enačba (4.51) 65 Testi za razlikovanje dinamike od šuma Za analizo singularnosti je potrebna linearna neodvisnost med vzorci, vektorji, ki jo eksperimentalno zagotovimo z izbiro časa okna T&: • Ts predstavlja čas vzorčenja; • t = Jts]c čas zakasnitve, ki mora biti tako velik, da omogoči statistično neodvisnost med vzorci [21 J; • T(0=nr je čas okna. Časovna vrsta napetosti LZT1000 ima omejen frekvenčni spekter z mejo 0,181 [h J (Slika 4.15 na strani 60). Zato smo pri SVD analizi za dolžino okna opazovanja Ta vzeli vrednost 5,5 \h\. Pri časovni vrsti napetosti, tako kot pri vseh eksperimentalnih časovnih vrstah, ne poznamo a priori velikosti podprostora m, kjer se razvija dinamika, čeprav vemo, da je T(o>(2m + l)r dovolj velik. Pri frekvenci vzorčenja 4 vzorce/uro znotraj Ta = 5,5 \h\ zajamemo največ 22 vzorcev. Glede na to, da je vzorčna frekvenca fiksna, vzamemo za r samo večkratnike 0,25 \h\. Pri podani velikosti Ta = 5,5 [h\ smo testirali vpliv spreminjanja števila vzorcev n na hitrost upadanja spektra singularnih vrednosti. Pri fiksni velikosti zm =nrs lahko za parametra število vzorcev in razmik med vzorci vzamemo naslednje vrednosti: Št. vzorcev v oknu n Razmik med vzorci T v [h] 22 0,25 11 0,5 7 0,75 Tabela 4.1: Število vzorcev v oknu T' = 5,5 \h\ M u S 1 11 v C) ^ Gh H iran s vre dr 0,1 N XI 3 rt 'g 0,01 R rt u n S G G 0,001 • 22 vzorcev v oknu ■ 11 vzorvecv oknu ■7 vzorcev v oknu 10 20 30 Slika 4.24: Normalizirani spektri singularnih vrednosti časovnih vrst napetost LTZ1000, ki smo jih dobili s SVD dekompozicijo. V oknu T'a — 5,5 \h\ smo za T vzeli večkratnike vzorčne periode oziroma 0,25, 0,5, 0,75, s tem pa dolžine oken 22, 11,7. 66 ANALIZA IN MODELIRANJE ČASOVNIH VRST Slika 4.24 prikazuje efekt spreminjanja Ts. Normalizirani spektri singularnih vrednosti (j /Zcr .so podani v log merilu. Razvidno je, da je par prvih singularnih vrednosti dominantnih in da se dinamika dogaja v prvih 6-7-ih dimenzijah. Najbolj slikovite projekcije je dala uporaba okna z devetimi vzorci pri ts = 0,75 [h\, ki jih prikazuje Slika 4.25. Slika 4.26 prikazuje normalizirane spektre časovnih vrst LM329 diod. Normalizirani spektri singularnih vrednosti imajo med seboj podobno obliko za »boljše«, »povprečne« diode ter za skupino zaporedno povezanih diod (Slika 4.26 a), c), d)), medtem ko je spekter »slabše« diode drugačen. Pri vseh štirih časovnih vrstah je prva singularna vrednost izrazito večja od ostalih, prvih 10 vrednosti pa je različnih od ostalih. Slika 4.25: Projekcije trajektorije časovne vrste LTZ1000 na med seboj ortogonalnih ravninah, razpetih med singularnimi vektorji \C-}. i -to točko na \C -,ck) ravnini dobimo s projekcijo \C Xt, Ck Xt). Fazni prostor je devet dimenzionalen in Ts — 0,75 \h\. 67 Testi za razlikovanje dinamike od šuma a) o. g a! .S S i -s b) Slika 4.26: Normalizirani spektri singularnih vrednosti časovnih vrst napetosti, ki jih ustvarjajo LM329. a) ZEN1 (povprečna dioda); b)ZEN3 (najslabša dioda); c)ZEN6 (najboljša dioda); d) zaporedna skupina 4-ih najboljših. Spektri so prikazani v logaritemskem merilu. 4.5.2 Korelacijska dimenzija in testi za razlikovanje nelinearne dinamike od šuma V [129], [130], [131] smo primerjali dejavnike dinamike, kot so korelacijska dimenzija [74], [199] in Lyapunovi eksponenti [86], ter izvedli naslednje teste za razlikovanje nelinearne dinamike od šuma: diferenciacija signala, naključno spreminjanje faze, časovno-prostorsko ločevanje, neodvisne realizacije, strukturna funkcija. Osnovni namen testov je bil iskanje podobnosti pri vizualizaciji določenih lastnosti časovnih vrst, kot so Lorenzev sistem in fraktalna Brownova gibanja na eni strani ter časovne vrste napetosti na drugi strani. Fazni portreti so grafi, ki opisujejo razvoj sistema [202], trajektorija pa je ustaljeni del razvoja sistema. Trajektorije so krivulje, ki zapolnijo fazni prostor in imajo fraktalno strukturo. To pomeni, da je struktura množice točk, ki leži na krivulji, neobčutljiva na spreminjanje merila. Lastnosti atraktorjev vrednotimo z njihovimi dimenzijami. V splošnem fraktalna (Hausdorffova) dimenzija, ki ponavadi ni celo število, pomeni merilo, koliko je množica točk zapolnila prostor in je strogo manjša od topološke dimenzije mnogoterosti, kjer je le-ta vložena. Ce bi vedeli, da atraktor zagotovo obstaja, bi lahko dinamične lastnosti sistema, ki mu le-ta pripada, vrednotili z dimenzijami atraktorja. Zal pa zagotovila o obstoju atraktorja za eksperimentalne časovne vrste ni [16]. V [131] smo se ukvarjali z lastnostmi fazne slike sistema ob predpostavki, da atraktor 68 ANALIZA IN MODELIRANJE ČASOVNIH VRST obstaja, saj so časovne vrste, ki kažejo določeno tendenco razširjanja v neraziskanih delih faznega prostora in/ali vrste, ki imajo v omenjenih področjih faznega prostora bližnje povratke, kandidati za raziskovanje kompleksnih nelinearnih sistemov (Slika 4.25). Korekcijska dimenzija meri koreliranost med naključnima točkama na atraktorju [74]. Opisana je s korekcijskim integralom. Njen izračun temelji na štetju točk atraktorja, katerih medsebojna razdalja je manjša od določene vrednosti. Za časovne vrste napetosti smo korekcijsko dimenzijo ocenili na vrednosti med 4 in 5,3 [129], [130], [131]. Zanimalo nas je, če ocenjena korekcijska dimenzija odraža globalno geometrijo ali lokalno fraktalno strukturo. S testi smo hoteli potrditi značilnost korekcijske analize na merjenih signalih. Test z odvajanjem, diferenciran jem časovne vrste je potrdil, da je časovna vrsta napetosti šumna, saj se je vrednost korekcijskega integrala ustalila pri višji vrednosti kot za originalno časovno vrsto. Za diferencirano FBM časovno vrsto pa se korekcijski integral ni ustavil. Test z naključnim spreminjanjem faze smo izvedli na naslednji način: obravnavali smo časovno vrsto, ki ima popolnoma enak močnostni spekter kot opazovani signal, le da so fazni koti poljubno izbrani. Tako dobljeno časovno vrsto v strokovni literaturi [95], [149] imenujejo nadomestna vrsta. V primeru, ko se korekcijska dimenzija nadomestne časovne vrste značilno ne razlikuje od dimenzije prvotne vrste, časovna vrsta ne izraža dinamike. Naključno spreminjanje faze poruši podvajanje periode, kar je povezano s prehodno in multifraktalno [149] naravo procesa, pa tudi linearizira časovno vrsto. Ce se korekcijski dimenziji po naključnem spreminjanju faze ne razlikujeta, je to močan indikator, da v opazovanem signalu prevladuje šum. V nasprotnem primeru, ko je signal izhod dinamičnega sistema, naključno spreminjanje faze uniči konvergenco korekcijske dimenzije. Dodatno smo testirali napovedljivost obeh časovnih vrst z uporabo usmerjenih nevronskih mrež, konkretneje večnivojskega preceptrona (VP). Za dolžino vhodnega vektorja po Takensovem izreku [202] smo uporabili dimenzijo vlaganja atraktorja v fazni prostor. VP se je za časovno vrsto napetosti naučil napovedovati manjšo napako kot za nadomestni signal. Dejstvo, da je napaka napovedovanja napetosti bistveno manjša od napake nadomestne vrste pomeni, da lahko zavržemo ničelno hipotezo, da je časovna vrsta napetosti šum. Test za časovno-prostorsko ločevanje temelji na obravnavanju delov podatkov v faznem prostoru s ciljem, da bi poiskali način obnašanja časovne vrste, ki je rezultat dinamične korekcije. Za ta namen preoblikujemo podatke, da bi poiskali dinamične korekcije. Vsak par točk, ki leži na fazni sliki časovne vrste, je med seboj v faznem prostoru prostorsko oddaljen za f, časovno pa je oddaljen za A/. Najprej smo izrisali diagrama raztresenosti točk (Slika 4.27, 69 Testi za razlikovanje dinamike od šuma Slika 4.28), ki kažeta odvisnost prostorske razdalje točk na fazni sliki od časovne razdalje. Za daljše časovne vrste je težko interpretirati diagrame raztresenosti. Slika 4.27: Diagram raztresenosti točk v fazni sliki Lorenzevega atraktorja (spremenljivka 3), ki kaže odvisnost razdalje med točkami v faznem prostoru od časa. Slika 4.28: Diagram raztresenosti točk v fazni sliki časovne vrste enosmerne napetosti (LTZ1000), ki kaže odvisnost razdalje med točkami v faznem prostoru od časa. Rišemo tudi konturne mape frakcij točk, ki so v faznem prostoru med seboj bližje od podane razdalje r pri časovnem ločevanju At, kar je enakovredno ocenjevanju verjetnosti P{\x(t + At) - x(t)\) < r. Konturne mape rišemo tako, da x -os ponazarja ločevanje po času, y - os pa razdalje33 med točkami v prostoru, ki zajame določen del vseh točk, ki so po času oddaljene x enot. Cilj je opazovanje načina obnašanja konturnih map. 53 Razdalje so lahko Evklidske ali norma neskončno. 70 ANALIZA IN MODELIRANJE ČASOVNIH VRST Slika 4.29: Časovno-prostorsko ločevanje za: a) Lorenzev sistem (spremenljivka ^); b) časovno vrsto napetosti (LTZIOOO); c) časovno vrsto FBM; d) šum z normalno porazdelitvijo. Konture predstavljajo frakcije točk, ki so si bližje, kot je podana razdalja rpri podani časovni razdalji A/. Grafi ustrezajo frakcijam: 1%, 10%, 50%, 90%, 99%. Slika 4.29 kaže obnašanje fazne slike Lorenzevega atraktorja (spremenljivka 3), časovne vrste napetosti (LTZIOOO), fraktalnega Brownovega gibanja in časovne vrste, ki predstavlja normalni šum. Obnašanje časovne vrste napetosti je bolj podobno obnašanju deterministično kaotičnega sistema, kot je na primer Lorenzev (spremenljivka ^), in zelo različno od obnašanja šuma z normalno porazdelitvijo. Različno je tudi od obnašanja FBM časovne vrste3 . Fazna slika enosmerne napetosti kaže na neko urejenost, vračanje na skoraj isto mesto po določenem času (rekurenca), kar je značilnost determinističnih sistemov. Fazne slike naključnih vrst so nasprotno brez kakršnekoli strukture [129], [149], [150]. 54 Uporabljamo model FBM1, ki smo ga opisali na strani 30. 71 Testi za razlikovanje dinamike od šuma Slika 4.30: Časovno-prostorsko ločevanje za časovne vrste LM329: a) ZEN1; b)ZEN3; c) ZEN6; d) zaporedna skupina štirih najboljših diod. Konture predstavljajo frakcije točk, ki so si bližje, kot je podana razdalja rpri podani časovni razdalji A/. Grafi ustrezajo frakcijam: 1%, 10%, 50%, 90%, 99%. Slika 4.31: Strukturne funkcije: a) Lorenzevega sistema (spremenljivka 3); b) časovne vrste napetosti (LTZIOOO); c) časovne vrste FBM; d) šum z normalno porazdelitvijo. Slika 4.30 kaže obnašanje faznih portretov časovnih vrst enosmerne napetosti, ki so jih ustvarile diode LM329. Medtem, ko pri časovnih vrstah LTZIOOO opažamo rekurence in urejenost, so pri časovnih vrstah LM329 prostorske korekcije le posledica časovne koreliranosti. 72 ANALIZA IN MODELIRANJE ČASOVNIH VRST piagram raztresenosti za najbolj kakovostno diodo LM329, ZEN6, (Slika 4.30 c)) je podoben diagramu raztresenosti časovne vrste FBM (Slika 4.29 c)), kar bi lahko pomenilo, da je v časovnih vrstah LM329 dominanten obarvani šum. Strukturna funkcija predstavlja klasično mero pri analizi izmerjenih časovnih vrst. Definira jo naslednja enačba: N-n S{n) = £ [x(t + nAt) - x(t)f Enačba (4.52) /=1 Pri fraktalnih časovnih vrstah ima skalimo lastnost S(n) « n , pri čemer je parameter H3J neposredno povezan s fraktaltalno dimenzijo časovne vrste. Slika 4.31 c) in Slika 4.34 e) potrjujeta skalimo lastnost časovnih vrst FBM [69], [149], [199]. Za nelinearne deterministične časovne vrste, kot je spremenljivka z Lorenzevega sistema, ima strukturna funkcija tendenco oscilacije za majhne vrednosti n, kot posledico časovnih rekurenc in potem umirjanja za velike vrednosti n zaradi omejenosti faznega prostora (Slika 4.34 a)). Slika 4.32 kaže strukturne funkcije časovnih vrst LM329. Strukturni funkciji kakovostne (ZEN6) in povprečne Zenerjeve (ZEN1) diode tipa LM329 (Slika 4.32 a) in c)) sta med seboj podobni po svoji obliki in kažeta skalimo lastnost, podobno časovni vrsti FBM. Strukturne funkcije omenjenih časovnih vrst ne kažejo oscilacij, kot na primer vrsti Lorenzev sistem (spremenljivka ^ in LTZ1000. Z namenom, da bi poudarili razlike med 1/f šumom in nelinearnimi determinističnimi sistemi izrisujemo strukturne funkcije originalnih (Slika 4.34 leva stran) in diferenciranih časovnih vrst (Slika 4.34 desna stran) v logaritemskem merilu. Opažamo, da je strukturna funkcija diferenciranega signala (Slika 4.34 b)) po obliki praktično identična strukturni funkciji originalnega signala (Slika 4.34 a)), medtem ko so strukturne funkcije vseh ostalih diferenciranih signalov ravne. To bi lahko pomenilo, da so diferencirane časovne vrste šumne, oziroma da je v časovnih vrstah napetosti nekaj šuma (Slika 4.31 d)). Ocenjena močnostna spektra na diferenciranih podatkih (Slika 4.19 na strani 62 in Slika 4.23 na strani 64) potrjujeta prisotnost značilnih dnevnih in par-urnih fluktuacij kot pomemben vir šumnosti v podatkih. Strukturno funkcijo smo izrisali tudi za filtrirane časovne vrste napetosti, dobljene z glajenjem, kot opisujemo na strani 24. Z glajenjem smo skušali izničiti vpliv nizkih frekvenc, ki naj bi bile glavni vir šuma. V diferencirani zglajeni vrsti LTZ1000 ni evidence o prevladovanju 55 Podrobnejši opis pomena Hurstovega parametra H je podan v Fraktalna Brownova gibanja ali 1/f šum na strani 27. 73 Testi za razlikovanje dinamike od šuma šuma nad determinizmom (Slika 4.34 a) in b)). Strukturni funkciji obeh časovnih vrst, zglajene in diferencirane kažeta podoben vzorec obnašanja. Za zglajeno časovno vrsto LM329 in njeno diferenco (Slika 4.34 c) in d)) pa velja bistveno drugačno obnašanje in ni evidence o prisotnosti deterministične dinamike. Naraščanje strukturne funkcije je le posledica trenda. 50,000000 40,000000 30,000000 20,000000 10,000000 0,000000 1110 200 300 40(1 500 35,000000 - 30,000000 25,000000 ^ 20,000000 on 15,000000 10,000000 5,000000 0,000000 II 100 200 300 400 500 <0 b) 30,000000 1 25,000000 20,000000 w 15,000000 C« ' 10,000000 5,000000 0,000000 2,500000 2,000000 1,500000 1,000000 0,500000 0,000000 0 100 200 300 400 500 0 100 200 300 400 500 c) d) Slika 4.32: Strukturne funkcije časovnih vrst LM329: a) ZEN1, b)ZEN3, c) ZEN6, d) zaporedna skupina štirih najboljših diod. a) 10 100 looo I b) 100,000000 10,000000 -i 1,000000 \ 0,100000 c) 1000 Slika 4.33: Strukturne funkcije (v [log-log] merilu) zglajenih časovnih vrst LTZ1000 in LM329: a) zglajena LTZ1000; b) diferencirana zglajena LTZ1000; c) zglajena ZEN6; d) diferencirana zglajena ZEN6. 74 ANALIZA IN MODELIRANJE ČASOVNIH VRST 4.6 Zaključki preliminarne analize časovnih vrst enosmerne napetosti preden začnemo s prediktivnim modeliranjem časovnih vrst enosmerne napetosti smo si ogledali njihove osnovne deskriptivne lastnosti. Časovne vrste, ki jih ustvarjajo elementi LM329 so močno zaznamovane s trendom (Slika 4.1 na strani 36). Lastnosti časovnih vrst napetosti smo primerjali z lastnostmi znanih verjetnostnih modelov. Ocenili smo njihove avtokorelacijske in parcialne avtokorelacijske funkcije (Slika 4.3, Slika 4.4, Slika 4.7, Slika 4.8, Slika 4.9). Ugotovili smo, da avtoko relacijski koeficienti za LTZIOOO počasi upadajo, medtem ko je le par značilnih parcialnih avtokorelacijskih koeficientov. To nas napeljuje k uporabi statističnih ARIMA modelov pri prediktivnemu modeliranju. Oblika avtokorelacijske funkcije časovnih vrst LM329 pa nas napeljuje k uporabi statističnih MA modelov drsečega povprečja za prediktivno modeliranje. Ocenjeni močnostni spektri časovnih vrst napetosti (Slika 4.15, Slika 4.19, Slika 4.21, Slika 4.22, Slika 4.23) potrjujejo prisotnost močnih par-urnih, dnevnih, tedenskih fluktuacij v časovnih vrstah in njihovih diferenciranih inačicah. Izvedli smo kopico testov za razlikovanje nizkodimenzionalne dinamike od šuma. Večina testov je potrdila prevladovanje determinizma v časovnih vrstah LTZIOOO nad šumom. Testi v glavnem slonijo na opazovanju lastnost fazne slike časovne vrste. Le-ta, če je prostorsko omejena, ima za posledico omejenost kompleksnosti sistema. Teste smo izvajali na merjenih, simuliranih časovnih vrstah, časovnih vrstah, ki smo jih dobili z modifikacijo določene lastnosti opazovanih časovnih vrst, znanih determinističnih nizkodimenzionalnih časovnih vrstah (Lorenzev sistem), FBM časovnih vrstah ter normalnem šumu. Uporabljali smo modificirane časovne vrste, ki smo jih dobili iz osnovnih z naključnim spreminjanjem njihove faze, numeričnim diferenciranjem ali glajenjem. Potrdili smo predpostavko, da kljub temu, da imajo časovne vrste LTZIOOO podoben močnostni spekter kot časovne vrste FBM in da imajo FBM končno korekcijsko dimenzijo, ki je posledica fraktalnosti trajektorij, FBM niso izhodi nizkodimenzionalnih dinamičnih sistemov. Glede na rezultate večine testov (naključno spreminjanje faze, časovno-prostorsko ločevanje, strukturna funkcija) v časovnih vrstah LTZIOOO prevladuje deterministična dinamika. V časovnih vrstah LM329 prevladuje trend in ni zadostne evidence o prisotnosti nizkodimenzionalne dinamike ali šuma. 75 Zaključki preliminarne analize časovnih vrst enosmerne napetosti Slika 4.34: Strukturne funkcije (v [log-log] merilu) časovnih vrst (leva stran) in diferenciranih časovnih vrst (desna stran): a) SF spremenljivke ^Lorenzevega sistema; b) SF diferencirane časovne vrste spremenljivke ^ Lorenzevega sistema; c) SF časovne vrste napetosti LTZIOOO; d) SF diferencirane časovne vrste LTZIOOO; e) SF časovne vrste FBM; f) SF diferencirane časovne vrste FBM; g) SF časovne vrste ZEN6 (LM329); h) SF diferencirane časovne vrste ZEN6. 76 POGLAVJE 5 NAPOVEDOVANJE ČASOVNIH VRST Z napovedovanjem časovnih vrst se ukvarjajo 2nanstveniki ra2ličnih področij. Najdaljšo tradicijo med njimi imajo statistiki, ki anali2irajo podatke 2ato, da bi 2 učenjem 2gradili splošne modele i2 šumnih podatkov. I2 skupnosti, ki se ukvarja s strojnim učenjem se je ra2vila veja, ki se ukvarja 2 umetnimi nevronskimi mrežami, ki jih velikokrat uvrščajo med modele črnih škatel. Med metodami strojnega učenja, ki se je v 2adnjem desetletju močno ra2vilo, poleg nevronskih mrež uvrščajo še jedrne metode ali metodo podpornih vektorjev, ki jo tudi uporabljamo v disertaciji. Ta metoda ima presek 2 nevronskimi mrežami, saj je njihova struktura podobna perceptonu, hkrati pa njihovo široko uporabnost omogoča teorija naučljivosti preko statistične teorije učenje, katere avtor je ruski statistik Vladimir Vapnik. Obetavnost metode podpornih vektorjev na področju simboličnega učenja je 2agotovljena 2 dobrimi lastnostmi preslikave v trans formirani atributni prostor 2 jedrnimi funkcijami ter v induktivnem principu minimi2acije empiričnega tveganja pri i2gradnji modela. Medtem ko so statistični modeli definirani v obliki re2ultatov modeliranja, so nevronske mreže opisane 2 algoritmi njihove arhitekture in učenja. Medtem ko je pri strojnemu učenju poudarek na predstavitvi podatkov ter je učenje iskanje modela in določanje parametrov, je v statistiki glavna »skrb« učenja le določanje prametrov, ki se ujemajo s predpostavljenim modelom. Zaradi tega in 2aradi uporabe ra2ličnih terminologij je v preteklosti prihajalo do uhajanja v stališčih med tema dvema skupnostima. V 2adnjem desetletju je 2 ra2vojem teorije Pregled metod za napovedovanje časovnih vrst — state of the art naučljivosti (statistična teorija učenja, PAC naučljivost56) prišlo do poenotenja stališč in sinergijskega razvoja področja modeliranja časovnih vrst. Vidni napredki na področju modeliranja časovnih vrst so morda posledica pretokov strokovnega znanja med teoretičnimi študijami in empiričnim modeliranjem, kot je na primer povezovanje strokovnjakov, ki pripadajo skupnosti strojnega učenja s strokovnjaki, ki njihovo modeliranje potrebujejo (na primer bioinformatika na eni strani ter praktične študije in povezovanje znanja iz strojnega učenja, statistike, teorije sistemov, na drugi strani). Na področju umetne inteligence je vidno približevanje paradigme stališča predstavitve znanja statističnemu stališču. V tekočem poglavju bomo najprej opisali trenutno stanje na področju prediktivnega modeliranja časovnih vrst. Podali bomo koncept prediktvnega modeliranja na osnovi črnih škatel. S pojmom model bomo poimenovali rezultat uporabe ene izmed metod za napovedovanje časovnih vrst, bodisi metode ARIMA, ki je matematična predstavitev realnih stohastičnih procesov bodisi statističnih oziroma metod strojnega učenja (na primer nevronska mreža57 ali regresijsko drevo) za gradnjo modelov, ki napovedujejo vrednost numerične spremenljivke. V črno škatlo bomo uvrščali naučene ARIMA modele, nevronske mreže ali modele s podpornimi vektorji ter pod enakimi pogoji testirali in primerjali njihove zmožnosti kratkoročnega napovedovanja na testnih podatkih, ki jih nismo uporabili za učenje. Najprej bomo opisali klasične statistične prejeme, kot so na primer linearna regresija, eksponentno glajenje m ARIMA. S stališča strojnega učenja bomo opisali regresijske modele, kot so regresijska drevesa, nevronske mreže in metodo podpornih vektorjev. Opisali bomo teoretične osnove omenjenih metod. 5.1 Pregled metod za napovedovanje časovnih vrst - state ofthe art Napovedovanje prihodnjih vrednosti opazovane časovne vrste ali prediktivno modeliranje [28] je pomemben problem, ki ga uporabljajo v ekonomiji, bančništvu, planiranju proizvodnje, napovedovanju prodaje, naravoslovnih znanostih (seizmologija, vremenoslovje), inženirstvu 56 Angl. Probablj Approximately Correct learning, PAC [101] je teorija »verjetno približno pravilnega učenja« [101], ki se ukvarja z naučljivostjo določenega koncepta. 57 V disertaciji uporabljamo pojem »nevronska mreža« bodisi kot metodo za strojno učenje, bodisi kot model za napovedovanje vrednosti numerične spremenljivke. Način uporabe bo razviden iz konteksta. 78 NAPOVEDOVANJE ČASOVNIH VRST (včasih z namenom, da bi sledili pojavom in vzpostavili nadzor), socioloških znanostih in podobno. Posledično je tudi razvoj metod za prediktivno modeliranje izziv, ki so ga sprejeli znanstveniki različnih področij. Osnovne metode sodijo na področje statistike [13], [20], [27], [228], kjer so razvili običajna orodja za modeliranje, kot sta na primer eksponentno glajenje in ARIMA modeli. Zaradi same narave modeliranja pojavov oziroma poznavanja dinamike sistemov, še posebej nelinearnih, so svoj doprinos k prediktivnemu modeliranju dali fiziki [21], [71], [123]. Primer je lokalno modeliranje nelinearnih dinamičnih sistemov z iskanjem najbližjega odseka trajektorije, ki je najbližji trenutnemu stanju sistema. Motivacija za prediktivno modeliranje je pogosto razvoj nadzornih mehanizmov za obvladovanje oziroma upravljanje dinamičnih sistemov. Inženirski pristopi sistemske identifikacije so ponovno v »neposrednem sorodstvu« s prediktivnim modeliranjem časovnih vrst. Slednje sodijo v elektrotehnične znanosti [82], [114], [120], [136], [143], [148], [206]. Primer je modeliranje s Kalmanovimi filtri [158]. Med računalniškimi vedami se umetna inteligenca, konkretneje njena veja strojno učenje že vrsto let ukvarja s problemom napovedovanja časovnih vrst tako, da predikcijske modele uvršča med regresijske modele, ki napovedujejo vrednost numerične spremenljivke. Med prvimi modeli za napovedovanje s področja strojnega učenja so bila regresijska drevesa [225]. Prvotno so se metode strojnega učenja osredotočale na problem gradnje transparentnih modelov, katerih struktura je razumljiva ekspertom s področja uporabe. Sem še posebej sodijo metode za avtomatsko odkrivanje modelov [50], [105] oziroma metode za odkrivanje diferencialnih enačb [203]. V zadnjih desetletjih se večina metod strojnega učenja ukvarja z gradnjo modelov črnih škatel. Med drugimi so se razvili tudi biološko navdihnjeni modeli, kot so umetne nevronske mreže58 ter genetski in evolucionarni algoritmi [1], [11], [38], [52], [78], [83], [110], [111], [119], [143], [150]. Nevronske mreže so se uveljavile predvsem zaradi svoje robustnosti59, prilagodljivosti in zmožnosti realizacije kompleksnih nelinearnih vhodno-izhodnih preslikav oziroma univerzalne aproksimacije [78], [165]. Kljub točnosti in natančnosti 58 Angl. (Artificial) NeuralNetivorks, (A)NN -prevajamo z (umetnimi) nevronskimi mrežami. 59 Robustnost je neobčutljivost na šum v podatkih. 79 Pregled metod za napovedovanje časovnih vrst — state of the art napovedovanja žal ne ponujajo transparentne predstavitve modela in jih zato uvrščajo med modele črnih škatel60 [115], [166]. V zadnjem desetletju so se posebej razvile jedrne metode61, med katere sodita metoda podpornih vektorjev za regresijo62 [3], [32], [39], [102], [128], [134], [155], [166], [169], [172] in Gaussovi procesi [39], [73], [173], [174], [219], [220], [221], [222]. Jedrne metode kažejo izjemne rezultate na področju prediktivnega modeliranja predvsem zaradi interdisciplinarnega pristopa. Svoj doprinos so dala različna področja, kot so statistika s svojo vejo statistična teorija učenja [210], [211], operacijske raziskave, optimizacijski algoritmi in strojno učenje. Nekateri raziskovalci, kot tudi sam avtor metode SVM Vapnik, modele podpornih vektorjev uvrščajo med nevronske mreže [78], [189], [190] bolj zaradi načina realizacije vhodno-izhodne preslikave s prehodom iz vhodnega prostora v trans formirani atributni prostor63, kot zaradi načina učenja modela. Tako kot nevronske mreže lahko modele, ki jih dobimo z metodo podpornih vektorjev uporabimo kot modele črnih škatel. V zadnjem desetletju se je razvila množica efektivnih (polinomskih) algoritmov, ki omogočajo hitro učenje omenjenih modelov [30], [144], [161], [189], z regularizacijo, ki izboljšuje posplošitvene lastnosti modela [78], [136], kontroliranje kapacitete modela in podobno Na področju nevronskih mrež so najbolj raziskani klasični modeli nevronskih mrež z arhitekturami, kot so usmerjene nevronske mreže ali mreže z veriženjem naprej64, rekurentne65 in samoorganizacijske mreže (Slika 5.1). Predmet številnih sedanjih raziskav so celične mreže, Gaussovi procesi [39], [73], [173], [174], [219], [220], [221], [222], številni modeli 60 V pričujoči nalogi uporabljamo le metodologijo modeliranja, ki sloni na črnih škadah. Uporabljamo različne modele pod enakimi pogoji. Ne zanima nas struktura modela, le njegova zmožnost natančnega in točnega napovedovanja. 61 Angl. kernal methods prevajamo z jedrnimi metodami. 62 Angl. Support Vector Machines, SVM, (for Regression) Methods ali Support Vector Regression, SVR, Methods prevajamo z metodami podpornih vektorjev (za regresijo). 63 Angl. feature space prevajamo s transformiranim atributnim prostorom [101] ali s prostorom značilk [18]. Nekateri avtorji prevajajo s prostorom atributov ali lastnosti višje dimenzije. 64 Angl. Feedfonvard Neural Netivorks, FNN, prevajamo z usmerjenimi nevronskimi mrežami [101] ali z nevronskimi mrežami z veriženjem naprej. 65 Angl. Recurrennt Neural Netivorks, RNN, prevajamo z rekurentnimi nevronskimi mrežami ali z mrežami s povratnimi povezavami. 80 NAPOVEDOVANJE ČASOVNIH VRST navdihnjeni z biološkimi nevronskimi in kognitivnimi sistemi [181]. Bazične matematične raziskave potekajo na naslednjih področjih: iskanje efektivnih algoritmov za učenje modelov, kot je na primer učenje modelov podpornih vektorjev; raziskovanje možnosti učenja glede na začetne pogoje modela [40], kot je na primer zagotovitev konvergence učenja [83] in podobno. Slika 5.1: Klasične arhitekture nevronskih mrež: a) usmerjena nevronska mreža; b) rekurentna nevronska mreža; c) samoorganizacijska mreža. Teoretične zmožnosti modelov, časovna kompleksnost njihovega učenja, ekspertno poznavanje pojava, ki ga modeliramo, želja po razumevanju modela ali po točnemu in natančnemu napovedovanju, zmožnost prilagajanja okolici in drugi faktorji narekujejo možno uporabo določenih modelov pri modeliranju realnih pojavov. Za prediktivno modeliranje realnih časovnih vrst se uporabljajo tudi mešani modeli, ki jih imenujejo mešanice ekspertov ali ansambli modelov [38], [215], [224]. Osnovna ideja sloni na uporabi in povezovanju prediktivnih modelov, ki pripadajo homogeni ali heterogeni skupini modelov. Običajno uporabljajo množico enostavnih, naučenih modelov, povezanih med seboj. Ena možnost je izračun obteženega povprečja izhodov modelov [224]. Druga možnost je iskanje mehanizma za prehajanje med prediktorji. Modeli bi se lahko nanašali na posamezne načine delovanja sistema, ki ga modeliramo, oziroma bi bili predstavljeni z deli trajektorije v prostoru stanj. Mehanizem prehajanja med modeli (sledenja dinamike v sistemu) velikokrat ustreza skritemu Markovskemu modelu [215]. Pri izbiri modela za modeliranje realnega pojava poleg transparentnosti modelov. Delimo jih na modele črnih [115], [166], sivih [167], [203] in belih škatel [50], [106]. Pomembno vlogo igra tudi horizont napovedovanja, ki modele razdeli na tiste za kratkoročno in tiste za dolgoročno napovedovanje. Kratkoročno napovedovanje časovnih vrst je veliko lažji problem od dolgoročnega [108]. Velikokrat se za namen kratkoročnega napovedovanja izkaže zadostna uporaba linearnih modelov [115], [166]. Tekmovanja za napovedovanje časovnih vrst na spletu kot so Santa Fe tekmovanje (leta 1992 [71]), KULeuven tekmovanje z naprednimi metodami črnih škatel za nelinearno modeliranje (leta 1998 [123], [189]), EUNITE tekmovanja za napovedovanje časovnih vrst obremenitve električnega omrežja (leta 2001 [25], [29], [54]) in časovnih vrst, ki kažejo obnašanje strank neke banke (leta 2002, [68], [226]), CAT Benchmark tekmovanje za napovedovanje umetnih časovnih vrst (leta 2004 [108], [158]) so pokazala, da je za srednjeročna 81 Definicija napovedovanja časovnih vrst in dolgoročna napovedovanja potrebno poznavanje dinamike sistemov, ki ga modeliramo. Zmagali so različni modeli: modeli za iskanje najbližje trajektorije sistema v prostoru stanj [123], model podpornih vektorjev za regresijo [25], nevronske mreže [226]. Pri zmagovalnih modelih so bili ključnega pomena problem izbire »informativnih« vhodnih podatkov, njihova predstavitev in način učenja modela [29], [108]. 5.2 Definicija napovedovanja časovnih vrst Naj bo podana časovna vrsta x(l),x(2),...,x(N)66. Napovedovanje pomeni ocenjevanje bodoče/bodočih vrednosti v časovni vrsti, kot je na primer vrednost x(t + k) ali vrednost, ki je k korakov naprej od trenutka opazovanja /. Napoved vrednosti x(t + k) , ki jo računamo v času t = N za k korakov naprej, označimo z x(N,k) . Obstaja veliko metod za napovedovanje in niti ena ni univerzalno uporabna za vse časovne vrste. Napovedi so običajno pogojne prihodnje vrednosti, ki se bodo zgodile ob določenih predpostavkah. Iz teh razlogov ekspertno znanje s področja modeliranja pomaga pri ustvarjanju in popravljanju obstoječih modelov. V tem primeru govorimo o modeliranju s pomočjo metod belih ali vsaj sivih škatel [115], [166], [167]. Velikokrat pa tega znanja nimamo, ali pa vsaj ni dostopno. V tem primeru posežemo po modelih črnih škatel. Poleg delitve metod glede transparentnosti modelov, lahko metode za napovedovanje razdelimo tudi na: metode za kratkoročno in dolgoročno napovedovanje67, linearne in nelinearne, statične in adaptivne, samodejne in nesamodejne metode... Obstaja veliko različnih načinov za razdelitev metod za napovedovanje. V statistiki [17], [27], [28] je običajna delitev metod na: • Subjektivne, ko je napoved, narejena na podlagi presoje, intuicije, ekspertnega znanja ali katere koli informacije v zvezi s sistemom, ki ustvarja časovne vrste. Na primer, Delphijevska tehnika [27], ko skupina napovedovalcev skuša doseči soglasje v skladu s preliminarnimi analizami. S temi metodami se v pričujoči nalogi ne ukvarjamo. Z je množica vseh časovnih vrst opazovanja sistema do časa ./V . Število napovedanih vrednosti tvori horizont napovedovanja. 82 NAPOVEDOVANJE ČASOVNIH VRST t Univariatne (Slika 5.2 a)), ko napoved x(N, k) temelji le na vrednosti v opazovani časovni vrsti x(N),x(N — 1)... Na primer, napovedujemo prihodnjo vrednost napetosti glede na spreminjanje napetosti v preteklosti. Večina metod, ki jih uporabljamo v disertaciji je univariantnih. • Multivariatne (Slika 5.2 b)), ko je napoved za določeno spremenljivko vsaj delno odvisna od neke druge časovne vrste, ki jo imenujemo pojasnjevalna spremenljivka. Slika 5.2: Univariatno in multivariatno modeliranje časovnih vrst. V praksi se uporabljajo kombinacije omenjenih pristopov. Velikokrat kombinirajo statistične metode s subjektivnim predznanjem o modelu ali ekspertno znanje vključujejo v model, ki ga gradijo [203]. V tem primeru lahko govorimo o različno transparentnih modelih. Kot smo že omenili, se za napovedovanje včasih uporablja obteženo povprečje izhodov različnih modelov za napovedovanje, ki tvorijo ansambel ali mešanico napovedovalcev. Za kaj se bomo odločili v praksi, je odvisno od: • Namena napovedovanja; • Tipa časovnih vrst in njenih lastnosti, kot so na primer prisotnost trenda, sezonskih učinkov, nasploh stacionarnosti ipd; • Dolžine časovne vrste (število opazovanj); Horizonta napovedovanja: kratkoročnega/dolgoročnega ; V disertaciji se ukvarjamo s kratkoročnim napovedovanjem. 83 84 Definicija napovedovanja časovnih vrst • Števila časovnih vrst, ki jih napovedujemo in v zvezi s tem cene/kompleksnosti izgradnje modelov; • Izkušenosti in spretnosti napovedovalca, dosegljivostjo programske opreme za napovedovanje itn. Včasih je napovedovanje prihodnjih vrednosti izraženo preko intervala, ki določa negotovost napovedi. Ustreznost modela, ki smo ga zgradili za napovedovanje, največkrat ocenjujemo tako, da merimo odstopanje napovedanih vrednosti od pravih, kar predstavlja računanje napak napovedi. V disertaciji uporabljamo pristop, ki temelji na vlaganju vrednosti v časovni vrsti v večdimenzionalni prostor z uporabo okna konstantne dolžine. Modelu, ki je primeren za napovedovanje hkrati prestavimo več preteklih vrednosti s ciljem napovedovanja sedanje in/ali par prihodnjih vrednosti. V statistiki takšne modele imenujejo avtoregresijske. Uporabljamo časovno okno dolžine^ in se v času učenja premikamo po časovni vrsti za en korak naprej tako, da modelu kažemo ^-preteklih vrednosti ali ^-vhodov, z namenom napovedovanja ene sedanje in/ali nekaj prihodnjih vrednosti (Slika 5.3). Slika 5.3: Kratkoročno modeliranje s stališča vira, ki ustvarja časovno vrsto. Prediktor učimo napovedovati sedanje (in mogoče do par prihodnjih) vrednosti v časovni vrsti, tako da se po časovni vrsti premikamo z oknom dolgim^ +1 s korakom 1. Prediktorju kažemo^ preteklih vrednosti, le-ta pa napoveduje naslednjo vrednost. Slika 5.4: Kratkoročno modeliranje s stališča modela (prediktor j a). NAPOVEDOVANJE ČASOVNIH VRST S stališča prediktorja (Slika 5.4) model gradimo tako, da za vse znane pare vhodno izhodnih vektorjev |(x(«), y(«))}„=1 iščemo tisti model, s strukturo g in parametri @, ki so določeni z minimizacijo funkcijo napake. Odstopanja med y(«) in ocenjeno vrednostjo y(n;&) = g(x(«);@) naj bi bila najmanjša ne samo za vse pare {(x(«),y(«))L=i, s katerimi gradimo model (t.j. učni množici), ampak tudi za vse nove pare, ki jih nismo uporabili pri izgradnji sistema (t.j. testni množici) (Slika 5.6). Učna množica je sestavljena iz časovno vloženih vhodnih vektorjev x(n) . Problem vlaganja zajema iskanje ustrezne hitrosti vzorčenja in iskanje ustrezne dolžine okna (s tem smo se ukvarjali v poglavju ANALIZA IN MODELIRANJE ČASOVNIH VRST, na strani 65). Da bi čim bolj dosledno modelirali po scenariju črnih škatel, bo dolžina okna možen parameter modela. Izhod y(«;0) bo v našem primeru največkrat skalama vrednost y(ri). V določenih modelih, kot so na primer rekurentne nevronske mreže, bodo inherentno v strukturo prediktorja vključene povratne povezave izhodnega vektorja y(«;@), ki bodo časovno zamujene. Tudi te modele bomo obravnavali s scenarijem modeliranja s črnimi škatlami, na nivoju opazovanja vhodno-izhodne preslikave. 5.2.1 Scenarij modeliranja s črnimi škatlami Pri napovedovanju sedanje vrednosti neke sistemske spremenljivke na podlagi opazovanja preteklih vrednosti lahko uporabimo različne modele, toda v disertaciji se držimo vedno enakega scenarija, ki se ga uporablja pri modeliranju s črnimi škatiami (scenarij črnih škatel): • Izberemo »tip« modela, ki pripada določenemu strukturnemu razredu (na primer nevronsko mrežo, večnivojski perceptron); • Izberemo metodo za gradnjo modelov tipa, ki smo ga izbrali v prvem koraku; Določimo parametre metode za gradnjo modelov katerih vrednosti bomo spreminjali ter zaloge možnih vrednosti le-teh. Parametri metode se lahko nanašajo na »velikost« oziroma kompleksnost modela (na primeru večnivojskega perceptrona so parametri: dolžina vhodnega vektorja, število nivojev, število nevronov, ki pripada vsakemu posameznemu nivoju), ali na samo metodo oziroma učni algoritem, (kot sta vztrajnost a in hitrost učenja tj, zopet na 69 Angl. momentum term prevajamo z vztrajnostjo. 85 Definicija napovedovanja časovnih vrst primeru učenja večnivojskega perceptrona). Izbira začetnih vrednosti uteži je prav tako pomemben parameter učenja. • Z uporabo učnih podatkov določimo optimalne vrednosti zgoraj omenjenih parametrov, za katere pričakujemo da bodo minimizirali napako napovedi na testnih podatkih. Z optimalnimi vrednostmi parametrov poženemo izbrano metodo in kot rezultat dobimo končni model za kratkoročno napovedovanje časovne vrste. Uporabljamo predstavnike statističnih metod in metod, ki prihajajo iz strojnega učenja. Nevronske mreže in metode podpornih vektorjev (jedrne metode) za napovedovanje/regresijo običajno opišemo kot nelinearne modele črnih škatel [115]. Uporabljamo tudi linearne modele kot so Box-Jenkisnov model ARIMA in regresijska drevesa, ki po strukturi ne sodijo med modele črnih škatel, vendar jih uporabljamo v skladu s scenarijem črnih škatel. Najprej preiskujemo zmožnosti kratkoročnega napovedovanja linearnih modelov. Za uporabo linearnih modelov (kljub možnosti, da v časovnih vrstah enosmerne napetosti prevladuje nelinearna dinamika) smo se odločili, ker menimo, da za kratkoročno napovedovanje zadošča enostaven model, ki napoveduje smerne, tangentne spremembe napetosti. Za ta namen uporabljamo najprej linearne regresijske modele, kot so navadna linearna regresija, pace regresija, lokalno utežena regresija in regresijska drevesa. Regresijska drevesa so med najstarejšimi modeli strojnega učenja. So odločitvena drevesa z numeričnimi vrednostmi v listih [225]. Potem uporabljamo klasične statistične modele ARIMA in eksponentno glajenje. Pri izbiri strukture modela pri ARIMA modeliranju odstopamo od scenarija črnih škatel v tej meri, da si pomagamo z dodatno informacijo: s korelogramom in parcialno avtokorelacijsko funkcijo. Med nelinearne modele črnih škatel sodijo: nevronske mreže, valjčne funkcije, modeli mehke logike [166]. Z zadnjima dvema razredoma modelov se ne ukvarjamo, saj so v [110] dokazali, da so enakovredni usmerjenim nevronskim mrežam. Prav tako se ne ukvarjamo z valjčnimi funkcijami, zaradi njihovih podobnostih z RBF70 nevronskimi mrežami. Izpuščamo tudi genetske algoritme. Bavesove modele71 [14], [15], [101], [227] omenjamo le v kontekstu 70 Angl. Radial Basis Function, RBF. 71 Bayesovi modeli so popularna metoda, ki omogoča učenje modela ob prisotnosti negotovosti (šumnosti) vhodnih podatkov ter izražanje negotovosti izhodov, ki so odvisne od variance vhodne napake. Kot model se velikokrat uporabljajo nevronske mreže, katerih uteži in »prave« (brez šuma) vrednosti vhodnih podatkov lahko modeliramo z Markovsko verigo Monte Carlo (MCMC) [227]. Zadnje čase se zelo uveljavlja metoda relevantnih 86 NAPOVEDOVANJE ČASOVNIH VRST določanja predikcijskih intervalov (stran 102), grafične verjetnostne modele [59], celularne mreže, statistične Gaussove procese [39], [73], [173], [174], [219], [220], [221], [222]. Izpuščamo tudi scenarij spodbujevalnega učenja72, skrite Markovske modele [215] in dr. modele. Nevronske mreže (NM) so priročno in široko uporabno orodje, ki ima lepe lastnosti, kot so univerzalna vhodno-izhodna preslikava ter zmožnost prilagoditve k okolici. Zaradi njihove robustnosti, jih lahko neposredno vključimo v merilni sistem za procesiranje merilnih podatkov [1], [11], [12], [13], [142]. Uporabljamo različne tipe nevronskih mrež, z znano računsko močjo: večnivojski perceptron (VP) [71], mreža s časovnim procesiranjem podatkov (FIR-VP73) [83], nevronske mreže s povratnimi povezavami ali rekurentne mreže (RM) [83], skupinska metoda za obravnavanje podatkov ali GMDH74 mreža [143]. Metoda podpornih vektorjev za regresijo (SVR), ki jo zaradi podobnosti predstavitve podatkov uvrščajo tudi med nevronske mreže (Slika 5.5), prihaja iz statistične teorije učenja ali Vapnik-Chervonenkisove (VC) teorije [39], [210], [211], [212] za odkrivanje povezav iz realnih, empiričnih podatkov. Moč SVR modelov je v jedrnih preslikavah, ki omogočajo nelinearno preslikavo v nek visokodimenzionalni atributni prostor ter v induktivnem principu minimizacije empiričnega tveganja75 (ERM). ERM je način za ocenjevanje odvisnosti med podatki zasnovan na minimizaciji učne napake za množico parametričnih funkcij [32]. vektorjev (angl. Relevance Vector Machine, RVM), ki jo opisujeta Tipping in Bishop [14], [15]. Le-ta je Bavesovo ogrodje za regresijo. 72 Angl. reinjorcement karning prevajamo s spodbujevanim učenjem [101]. 73 Angl. Finte-duration Impul^ Response, FIR, prevajamo s končnim odzivom na enotin impulz. FIR-VP pa je večnivojski perceptron s filtri s končnim odzivom na enotin impulz na povezavah. 74 Angl. Group Methodfor Data Handling prevajamo s skupinsko metodo za obravnavanje podatkov. 75 Angl. Empirical Risk Minimi^ation, ERM, prevajamo z empirično minimizacijo tveganja. 87 Definicija napovedovanja časovnih vrst 5.2.2 Osnovne lastnosti modeliranja s črnimi škatlami Časovne vrste opazujemo kot mešanice dinamičnega dela, ki vodi opazovani proces in je predmet našega modeliranja, ter šuma, ki je prisoten med meritvijo. Suma se ne da predvideti [71]. Naloga modeliranja je oceniti funkcijo g0(x). Opazovanja sistema so šumne meritve76 y(k) pri vhodih xk ali y(k) = g0 (xk) + e(k). V nekem trenutku se moramo odločiti med katerimi strukturami modelov bomo iskali. Če imamo informacijo, da je g0 polinom, bomo iskali med modeli, ki imajo naslednjo strukturo: g(x,0) = 0! + 02x + 03x2 +... + 0„xw_1 Enačba (5.1) Če vemo, da je g polinom 3. stopnje, govorimo o modeliranju s sivimi škatiami. Za n = 4 določimo parametre 0( modela na podlagi opazovanj y , po klasični metodi najmanjših kvadratov. Če nimamo informacije o modelu g, potem se lotimo scenarija črnih škatel. Predpostavimo, da je analitična funkcija. V tem primeru g lahko modeliramo s polinomom, katerega stopnjo bomo »odkrili« med modeliranjem. Lahko uporabimo racionalno aproksimacijo: , ^x 01+02x + 03x3+... + 0 xn'x ^ vl ,r„x g(x; 0) =------!------2--------L-------------»-------- Enačba (5.2) l + 0„+1* + 0„+2x2+... + 0„+m_1*'"-1 Lahko uporabimo razvoj Fouriereve vrste, kot opisuje enačba: g(x; 0) = 0O +^ (02/-i cos(Itdc) + 02/ sin(/;zx)) Enačba (5.3) /=i Lahko uporabimo modele različnih struktur in jih označimo z notacijo y{k\&) — g(x/t;0) . y(k; I \0\če N^oo 0* = arg min E\e(t\ 0)12 Enačba (5.8) 0 Ce imamo veliko podatkov, ocenjeni model konvergira proti vrednosti 0 . Minimizira pričakovano vrednost norm napak napovedi in doseže »najboljši možni približek«. Matematično upanje v enačbi (5.8) je določeno glede na vse naključne distribucije in vsebuje povprečenje skozi lastnosti vhodnih podatkov [115]. Z drugimi besedami, z modelom 0 bomo dobili dobre napovedi glede na aspekte sistema, ki so zaobjeti v vhodnih podatkih. 5.2.3.3 Asimptotska distribucija Ce obstaja zagotovilo konvergence, potem je zelo pomembno, kako hitro dosežemo »optimalni model«. Ce so napake optimalnega modela beli šum, potem 0^ konvergira proti 0 s hitrostjo 1/VA^ . Konvergenco meri kovariančna matrika. Natančnejši opis teoretičnih osnov asimptotične konvergence je podan v [115]. 91 Definicija napovedovanja časovnih vrst 5.2.4 Izbiranje tipa in velikosti modela na realnih podatkih Za ocenjeni model g(x,®N) k napaki prispevata [101], [115]: • Pristranskost80 je sistematična napaka, ki je odvisna od modela. To je napaka, ki smo jo naredili, ko smo izbrali napačen strukturni model • Varianca pa je napaka zaradi učnih primerov. To je razlika med oceno @N in njeno limito 0 , kot smo jo opisali v enačbi (5.8). Oba vira napake sta med seboj nasprotujoča in v praksi je treba poiskati kompromis med njima [101], [115]. Ce zmanjšujemo pristranskost, povečujemo število parametrov, kar pripelje do pretiranega prileganja k učni množici. Posledično zraste varianca. Ce zmanjšujemo varianco, zmanjšujemo število parametrov, poenostavljamo model in pristranskost narašča. V nadaljevanju bomo podali pričakovanja obnašanja odstopanja modela od »pravega« sistema. 5.2.4.1 Viri negotovosti realnega modela Ocenimo odstopanje modela od dejanskih vrednosti v časovni vrsti: K(0) = E\y{t) - 7(^;0)|2 Enačba (5.9) Matematično upanje je tukaj definirano za Z0081 in ni odvisno samo od strukture modela, ampak tudi od podatkov. Ocenjeni parametrični model 0^ pa je naključna spremenljivka, dobljena na opazovanih podatkih, učni množici, zato lahko izražamo matematično upanje srednje kvadratne napake glede na množico podatkov, s katerimi gradimo model: FN = EV(QN) Enačba (5.10) FN ocenjujemo na množici podatkov, ki ima enake lastnosti, kot so podatki, s katerimi gradimo model. FN je ocenil Ljung [115] v limiti in enačba (5.10) dobi obliko: Angl. Bias enot ali model-mismatch error prevajamo s pristranskostjo [101]. jl so neskončno dolge časovne vrste, ki opisujejo sistem. 92 NAPOVEDOVANJE ČASOVNIH VRST FN « V (0* )(1 + f*El® ) Enačba (5.11) N 0 je vrednost, proti kateri konvergira ocenjeni model, v skladu z enačbo (5.8), medtem ko je dim0 število ocenjenih parametrov in praktično ponazarja število efektivnih parametrov. Ljung je v dokazal, da dim0 lahko zamenjamo s številom lastnih vrednosti Hessove matrike od V , oziroma V "(0) , ki so večji od regularizacijskega parametra d, kot ga opisuje enačba (5.7). Ce model ocenjujemo na podatkih, ki imajo podobne lastnosti kot podatki, s katerimi gradimo model, ujemanje ne bo odvisno od lastnosti podatkov, ampak od modela: števila parametrov in ocene ujemanja. Enačba (5.10) kaže dvojno naravo med varianco in pristranskostjo. Ce je regularizacijski parameter 8 majhen, model uporabi več parametrov, kar povečuje varianco, kar spet posledično pokvari ujemanje F(0 ). Ljung je enačbo (5.10) preuredil v naslednjo obliko: 1 tt7/^*x t dim0 N N X = E\y(t) - g0 (tf Enačba (5.12) W(®) = E\gQ(t)-y(t;®\2 Enačba (5.12) opisuje dele napake, ki se nanašajo na model: • A je napaka, ki se ji pri modeliranju ne moremo izogniti, tudi če pri modeliranju uporabimo nedvomno znanje o sistemu. • W(Q ) je pristranskost, odvisna samo od strukture modela. • A,--------- je varianca, odvisna od števila parametrov in števila podatkov. 5.2.5 Ocenjevanje črnih škatel Da bi preprečili prekomerno prileganje modela k učni množici, kadar imamo omejeno dolge množice podatkov, si pomagamo z mehanizmom, ki ga imenujemo n-kratno prečno preverjanje82 [225]. Prečno preverjanje se uporablja pri klasifikacijskih in regresijskih problemih. 82 N-kratno prečno preverjanje je standardni postopek, kadar učno množico razdelimo na deset (n) delov. Model zgradimo na devetih (n-1) delih, napako modela računamo na desetem (n-tem). Postopek ponovimo desetkrat (n-krat). Napaka predstavlja povprečje desetih (n-tih) napak. S tem postopkom dobimo bolj realno oceno napake, ki ustreza določeni strukturi modela. Končni model pa zgradimo na celotni učni množici. 93 Definicija napovedovanja časovnih vrst V našem primeru je zaradi časovne odvisnosti med vzorci »nenavadno« model, ki se uči iz »zgodnje« preteklosti vrednotiti s podatki iz »pozne« preteklosti. Podatki, ki jih modeliramo so relativno dolge časovne vrste, opisane v poglavju SPLOŠNO O DOMENAH na strani 21. Držimo se naslednjega scenarija: • Podatke razdelimo na učno množico in testno množico. • Zgradimo modele različnih struktur. • Izračunamo mero prileganja za vsakega od modelov z uporabo testnih podatkov. • Za »zmagovalca« izberemo tisti model, ki se glede na izbrano mero najbolj prilega testni množici. Poleg mer prileganja modelov za napovedovanje nas poleg njihovih ocen kakovosti zanima negotovost posamezne napovedi, ki jo delamo z nekim konkretnim modelom in jo opisujemo v podpoglavju Negotovost napovedovanja in predikcijski intervali na strani 99. Da bi se izognili občutljivosti ocenjenih napak prediktorjev od dejanskega razpona vrednosti, časovne vrste pred modeliranjem normiramo. Ce je časovna vrsta dolga L vzorcev, učno in testno množico normirane časovne vrste x(t) e [0,1 J dobimo iz meritev xmer (t) po naslednjem obrazcu: xmtr(0-mmxmr(t) x(t) =---------------—------------- Enačba (5.13) maxxmer(t)-mmxmer(t) 5.2.5.1 Mere prileganja ali ocene uspešnosti različnih modelov Najbolj pogosto se kot mera uspešnosti različnih modelov za napovedovanje uporablja srednja kvadratna napaka (angl. Mean Square Error, MSE): 1 N MSE(@) = — 2 (y(t) - y(t\ ©))2 Enačba (5.14) pri čemer je y(t) prava vrednost, j)(/;@)pa napovedna vrednost. ./V je običajno število učnih primerov, čeprav pri statističnih modelih namesto N uporabljajo N — k, pri čemer je k število parametrov uporabljenih v modelu (to je dolžina vektorja 0, na primer če gre za ARAdA(p,q) je k = p + q(+l)). MSE(G) lahko računamo na učnih in testnih podatkih. Pri ocenjevanju 94 NAPOVEDOVANJE ČASOVNIH VRST kakovosti prediktorja pa ima MSE{&) večji pomen na testnih podatkih, zato jo včasih imenujejo predikcijski MSE(0) ali PMSE(Q) [28]. Poleg srednje kvadratne napake se uporablja koren iz srednje kvadratne napake (angl. Root Square Error, RMSE) RMSE(@) = ^MSE(@). Le-ta ocenjuje eksperimentalni standardni odklon srednje vrednosti napovedi podobno kot eksperimentalni standardni odklon srednje vrednosti merilnega rezultata v meroslovju (Definicija B.18 na strani 218). Druga mera, ki jo uporabljamo pri ocenjevanju prileganja, je srednja absolutna napaka (angl. MeanAbsokte Error, MAE): MAE(e) = ^2>(0-;P(';©)| Enačba (5.15) Korelacijski koeficient je mera, ki meri korekcijo med dejanskimi in napovedanimi vrednostmi [101]: K= S* S S- |>(')-jO(y(;©)-K©)) yy (N-\y Enačba (5.16) Sy~ N-l 'y~ N ' Ž(K/|0)-?(0))2 ŽK/;0) S. = -&------------------, j)(0) = -&-------- > N-\ N Korekcijski koeficient ima vrednosti K G [—1,1], za realne vrste K G [0,1]. Kakovostni so tisti modeli, za katere je korelacijski koeficient blizu 1. V disertaciji smo ga računali le za modele, ki so imeli podobno srednjo kvadratno napako. 5.2.5.2 Druge mere prileganja pri časovnih vrstah Pri statističnem modeliranju časovnih vrst se uporabljajo še druge mere za ocenjevanje prileganja modela k podatkom, ki se običajno nanašajo na analizo ostankov. Med te sodi množica Akaikejevih mer, kriterijev, ki se uporabljajo za ocenjevanje ostankov avtoregresijskih modelov in predvsem za določanje števila parametrov, ki jih uporabljamo v modelu. Akaikejevi kriteriji temeljijo na »kaznovanju« modelov z veliko parametri, saj negotovost napovedovanja s 95 Definicija napovedovanja časovnih vrst predikcijskimi modeli ni odvisna samo od variance napake modela, ampak tudi od napak pri določanju parametrov modela83 [20]. V splošnem z uporabo različnih mer v množici kandidatov modelov iščemo tistega, ki najbolj minimizira izgubo informacij. Informacijski kriterij, ki opisuje ujemanje modela 0, je opisan z obrazcem /C(0) = log(L(0)) - f(N, k), kjer je log(Z,(0)) maksimizirana funkcija logaritemskega verjetja in je f(N,k) funkcija kazni za kompleksnost modela s k parametri, zgrajenega na N -tih učnih primerih. Najbolj znana sta Akaikejev informacijski kriterij (angl. Akaike's Information Criteria, AIC) in (Schwarz) Bayesov informacijski kriterij (angl. Schwar\ Bajesian Information Criteria, (SJBIQ [20], [57], [228]. AIC kriterij je v splošnem definiran z AIC(@) = -2 log(Z,(0)) + 2k . Ker običajno za ocenjevanje modelov uporabljamo analizo najmanjših kvadratov, z normalno porazdeljenimi napakami, kriterija AIC in BIC dobita uporabno obliko: AIC{&) = N ln(MS£(0)) + 2k BIC = N ln(MS£(0)) + k + k \n(N) Enačba (5.17) mse(G) = -i- 2>(/) - j>(>;©))2 N-ktt • N - število učnih primerov; • k — dim 0 - število parametrov v modelu 0 . Ni idealnega kriterija za ocenjevanje in izbiranje med kandidati modelov. Obnašanje modelov pa je odvisno od kriterijev (mer), horizonta napovedovanja, kakovosti podatkov s katerimi gradimo model in podobno. Ker BIC mera strogo kaznuje kompleksne modele, ki nas pri modeliranju izhodne napetosti ne motijo, je v disertaciji ne uporabljamo. 5.2.5.3 Zanesljivost ocene uspešnosti in njen interval zaupanja Za ocenjevanje kakovosti določene mere uspešnosti modela uporabimo metodo, ki sloni na ocenjevanju standardne napake testnih podatkih. Recimo, da bi radi ocenili zanesljivost mere kvadratne napake Q (enačba (5.14)) določenega modela na testnih podatkih, ki je ocenjena s 83 Negotovosti, ki vplivajo na napake modela pri napovedovanju bodo bolj podrobno opisane pozneje v podpoglavju Negotovost napovedovanja in predikcijski intervali na strani 99. 96 NAPOVEDOVANJE ČASOVNIH VRST N' I povprečjem Q = 2_jQj r^t • Za ta namen ocenimo njeno standardno napako84 (angl. standard 7=i / error, SE) z enačbo [101]: s2 SE(Q) = J— N. n, Enačba (5.18) UQj-Q? s2=Var\Q] = ^-^------- s je varianca kvadratne napake, N, je število testnih primerov. Ocena kakovosti je podana z: KAKOVOST(Q) = Q±SE(Q) Enačba (5.19) Enačbo (5.19) interpretiramo na naslednji način: dejanska uspešnost MSE (Q) se z 68% gotovostjo nahaja na intervalu (Q - SE(Q), Q + SE(Q)) [101]. Posplošitev standardne napake je interval zaupanja za določeno mero. Interval zaupanja IZ za j2 oceno podamo z: IZ(Q) = Q±za/2SE(Q) Enačba (5.20) Z za/2 spreminjamo širino intervala zaupanja glede na stopnjo zaupanja (na primer pri 95% gotovosti, a = 5%, je za/2 = 1,96). Širina intervala zaupanja je neposredno odvisna od variance mere in stopnje zaupanja. 5.2.5.4 Primerjanje uspešnosti različnih modelov Vse modele zgradimo na učni množici. Nastavljanje njihovih parametrov mora biti opravljeno pred testiranjem sistema na neodvisni testni množici. Običajno celotno učno množico razbijemo na dejansko učno in nastavitveno množico in parametre nastavljamo toliko časa, dokler ne dosežemo najmanjše napake na nastavitveni množici [101]. Spreminjanje parametrov na testni množici je nedovoljeno. V disertaciji bi radi izbrali najbolj uspešen model za kratkoročno napovedovanje napetosti, vendar imamo premalo podatkov o fizičnem modelu, ki ustvarja časovne vrste, ki jih modeliramo (posamezne Zenerjeve diode, zaporedja). Premalo vemo o razmerju dinamičen 84 Predpostavljamo, da je kvadratna napaka normalno porazdeljena. 97 Definicija napovedovanja časovnih vrst sistem/šum, kljub temu, da smo izvedli teste za razlikovanje dinamike od šuma (stran 64). Iz teh razlogov je naše modeliranje dvoplastno: • Ocenjujemo zmožnosti kratkoročnega napovedovanja različnih modelov na različnih domenah, ki smo jih opisali v poglavju SPLOŠNO O DOMENAH, stran 21; • Izbiramo najbolj uspešen model za kratkoročno modeliranje časovnih vrst enosmerne napetosti. Ker je razlika med uspešnostjo različnih modelov premajhna, je potrebna ocena značilnosti razlik med algoritmi. Za ta namen uporabljamo neparametrični izboljšani Friedmanov test [101]. Test razvršča uspešnost različnih modelov za vsako domeno posebej, tako da vsakemu modelu dodeli rang. Imamo k modelov in D domen, r/ je rang /-tega modela nay-ti domeni. 1 D Povprečni rangi modelov so Rj = — \jr/ • Najprej izračunamo Friedmanovo, Xf statistiko D /=1 [101]: 2 _ UD % F ~ k(k + \) £^2 _*(* + !) j Enačba (5.21) Potem izračunamo statistiko, ki je porazdeljena po zakonu F s prostostnima stopnjama {k-\),(k-\)x(D-\): (D-Dr2 F _ _v-------A^Cf_ Enačba (5.22) D(k-\)-Z2F Kritične vrednosti za FF so tabelirane v splošnih statističnih knjigah, kot je na primer Miller in Miller [125]. Ce je FF večji od kritične vrednosti, običajno pri stopnji zaupanja a = 0,05, potem ničelno hipotezo, da so vsi modeli enako uspešni pri napovedovanju, zavržemo. Zatem običajno nadaljujemo s testom in skušamo dokazati, kateri model se na izbranih domenah izkaže kot najbolj uspešen. Za primerjanje enega modela z ostalimi uporabljamo test Bonferroni-Dunn [101]. Ta potrdi značilnost razlike v uspešnosti med modeloma j\ in j2 , če je razlika med povprečnima rangoma modelov večja od kritične vrednosti: Ri ~R, j\ Ji -CD = q° P^~ EnaČba (5*23) Kritične vrednosti za qa so podane v [101]. 98 NAPOVEDOVANJE ČASOVNIH VRST 5.3 Negotovost napovedovanja in predikcijski intervali zapovedi določenega modela običajno podamo v obliki izhoda v neki točki /, y{t | 0). pomembna lastnost modela je zanesljivost te konkretne napovedi. Ocenjevanje negotovosti85 ali zanesljivosti86 napovedi je pomemben del prediktivnega modeliranja v statistiki [7], [20], [22], [28], [42], [46], [81], [119] in v strojnem učenju [43], [93], [119], [139], [200]. Obstajajo različni načini za določanje predikcijskih intervalov napovedi, ki jih izvaja določen model z določenim številom vhodnih in izhodnih parametrov, za enega ali nekaj korakov naprej87. Celo glede na posebnosti časovnih vrst, kot so na primer ekonometrijske, so nekateri avtorji razvili posebne metode, ki se prilagodijo posebnostim aplikativnega področja [42], [46]. Nekateri načini za ocenjevanje intervalov predikcij slonijo na teoretičnih lastnostih modela, na pogojnih predpostavkah o modelu, ki napoveduje, drugi pa niso tako odvisni od modela, ampak slonijo na empiričnih metodah in vzorčenju [28]. Viri negotovosti predikcijskih modelov pa so zagotovo v samih modelih in v spreminjanju »okolja« obratovanja modelov. V strokovni literaturi uporabljajo različne metode za ocenjevanje predikcijskih intervalov, ki temeljijo na ocenjevanju kakovosti napake napovedi, kot so: teoretična formula, intervali za pogojne verjetnostne modele (kot je Bavesovo napovedovanje ([14], [15], [28]), približne metode, empirične metode in metode, ki slonijo na razmnoževanju podatkov. V statistiki pogosto uporabljajo klasično metodo za določanje predikcijskih intervalov [28], tako da imamo točkovne napovedi opremljene s simetričnim predikcijskim intervalom. To pa sta spodnja in zgornja meja, ki opišeta interval vrednosti, znotraj katerega pričakujemo, da bo z določeno stopnjo zaupanja ležala napovedana vrednost, s tem pa tudi prava vrednost. Včasih predkcijski interval imenujejo območje napovedovanja, meje napovedovanja [20] ali interval zaupanja, čeprav v statistiki interval zaupanja uporabljajo za ocenjevanje intervalov modela s fiksnimi in neznanimi parametri. Tukaj uporabljamo predikcijski interval za ocenjevanje neznane vrednosti ali naključne spremenljivke, medtem ko so znani parametri modela, ki napoveduje, določeni kot parametri najboljšega modela v določenem razredu [28]. V duhu modeliranja s črnimi škatlami 85 Negotovost je pojem, ki se pogosto uporablja v meroslovju (Definicija B.19), opisuje jo dokument [52] in se pomensko ujema s pojmovanjem negotovosti predikcije. 86 Z zanesljivostjo ali negotovostjo, ki je sicer nasproten pojem od zanesljivosti, ocenjujemo eno in isto lastnost predikcij. Ocenjujemo kakovost ocene posameznih predikcij. 87 Napovedovanje za več korakov vnaprej je dosti bolj negotovo, kot napovedovanje za en korak vnaprej. 99 Negotovost napovedovanja in predikcijski intervali uporabljamo oceno kakovosti napovedi za en korak vnaprej na testnih podatkih. Pri večini modelov predpostavljamo, da smo izbrali najboljše modele v razredu svojih predstavnikov, ki se najbolje prilegajo časovni vrsti , ki jo modeliramo. Posledično so napake modela na učni množici povsem naključne, med seboj nekorelirane z Gaussovo porazdelitvijo in povprečjem 0. Pri modelih, ki jih uporabljamo pričakujemo, da se bo napaka obnašala podobno ostankom, oziroma napaki na učni množici. Predpostavka se v praksi izkaže za prehudo. Ocenjeni intervali so zavajajoče ozki, saj veliko dejanskih opazovanj pade izven njih [28]. Radi bi na enak način za vse modele ocenili njihovo predikcijsko obnašanje v skladu s scenarijem črnih škatel. V praksi žal ne obstaja splošno sprejet mehanizem za izražanje predikcijskih intervalov za vse modele, razen za napovedi s pogojnimi verjetnostnimi modeli za katere je varianca napak napovedi takoj znana [28]. Razlikujemo med teoretično napako modela in dejansko napako, ki jo naredi model na učnih podatkih (ostanki) in na testnih podatkih. Napaka f(/;0) je teoretične narave in je del modela. To je X v enačbi (5.12). Dejanske napake uporabljenega modela delimo na tiste na učnih podatkih88 (ostanki) in na tiste na testnih podatkih. Opišemo jih z e(t; 0) = y{t) — y{t\ 0) . Omenjeni napaki se med seboj razlikujeta zaradi možnosti pretiranega prilagajanja učnih podatkov modelu in strukturalnih sprememb v sistemu [198], ki ga modeliramo. Poleg tega je napaka na učnih podatkih preozka za ocenjevanje napake pri dejanski uporabi modelov [28]. 5.3.1 Teoretična formula Predikcijske intervale določamo po metodi teoretična formula, kot jo imenujejo v statistiki (Armstrong [7], Brockwell [20], Chatfield [28]), saj je njena implementacija dostopna za različne statistične modele, kot so regresijski, eksponentno glajenje in ARIMA. Predikcijski interval je pri napovedovanju korak vnaprej, pri 100(1 — a)% -nem zaupanju, podan z obrazcem89: y(t | ®)±zall^Var[e(t\®)\ Enačba (5.24) 88 Testiranje modela na testnih podatkih statistiki imenujejo testiranje izven vzorca (angl. out-of sample), medtem ko so ostanki (residuali) v učni množici (angl. mthin sample). 89 Chatfield je podal bolj splošno obliko za izražanje negotovosti napovedi, ki se nanaša na napoved h (horizont napovedi) korakov vnaprej: y(t\ 0, h) ± Za/2 ^Var[e{t', 0, h)\ . 100 NAPOVEDOVANJE ČASOVNIH VRST pri čemer je j)(?;0) izhod modela za napovedovanje in je Far[e(y;@)J varianca napake, ki jo dejansko naredi model z ocenjenimi parametri 0 . za/2 ustreza deležu variance, pri ustrezni stopnji zaupanja in ob predpostavki Gaussove porazdelitve napak [28], [101]. Razlikujemo med teoretičnimi napakami, ki so del modela in dejanskimi napakami, ki nastopajo ob uporabi modela na določenih podatkih. Nekateri avtorji, med katerimi Hwang in ostali [93], Yaffe [228], svetujejo asimptotsko ocenjevanje intervalov ter uporabo / statistike, t^_a/2^, df]e število prostostnih stopenj v modelu. Pri tem uporabljajo naslednji obrazec y(t;G,h)±t^_a/2df)\s]l + resničnih modelov«, če hočemo oceniti intervale po teoretični formuli. V strokovni literaturi najdemo oceno variance napake za regresijske, ARIMA in nekatere modele prostora stanj. Chatfield [28] odsvetuje uporabo teoretične formule za modele, ki vsebujejo nelinearnosti. Na primer, za eksponentno glajenje je splošni obrazec za izražanje variance [28] pri napovedovanju za h korakov vnaprej podan z Var[e(t;0, h)\ = [1 + (h - \)a2 pe, pri čemer je cr] = Var[e(t;0)J varianca napake napovedi za korak vnaprej, a je parameter glajenja (enačba 5.25 na strani 112). Za h = 1 varianco ocenimo z varianco napake za korak vnaprej na testni množici le pod pogojem, da napake ne kažejo avto korekcije in nimajo izrazitega trenda. Za ARIMA modele velja podobna ocena variance napake pri napovedovanju za korak naprej in pri normalni porazdelitvi napak. Pri ocenjevanju predikcijskih intervalov Chatfield [28] svetuje testiranje Gaussove porazdelitve napak. 90 Najprej izberemo stopnjo zaupanja 1-a, (na primer 0.95, oc=0.05), ki se interpretira kot verjetnost, da se ocenjena vrednost nahaja v danem intervalu. Za za/2 = 1.96 [101]. 101 Negotovost napovedovanja in predikcijski intervali 5.3.2 Empirične metode, simulacije in razmnoževanje podatkov Ko ni dostopnih ocen za predikcijske intervale po metodi teoretične formule, si lahko pomagamo bodisi z empirično zasnovanimi predikcijskimi intervali, ki slonijo na analizi porazdelitve ostankov bodisi z metodami simulacij in razmnoževanja91 podatkov. Pri empirični metodi analize ostankov predikcijske intervale na testnih podatkih izražamo v odstotkih glede na empirično ugotovljeno porazdelitev napak na učnih podatkih in brez predpostavk o porazdelitvi napak, na primer o njeni normalnosti. Metode razmnoževanja podatkov, ki se pogosto uporabljajo v statistiki, slonijo na jemanju n vzorcev iz množice neodvisnih opazovanj, kjer vrednosti v vzorcu dobimo z nadomeščanjem »pravih« vrednosti. Pri časovnih vrstah so opazovanja časovno urejena. Smiselno bi bilo ustvarjanje vzorcev glede na napako modela, saj so napake neodvisne [200]. Problem izbiranja podvzorcev s pomočjo napak je tvegan za časovne vrste in precej odvisen od uporabljenega modela [28]. V zadnje čase se je pri modeliranju v ekonometriji uveljavila metode »gostotnih« napovedi92 [22], [46], ki jo uporabljajo tudi kot simulacijsko metodo, ne glede na uporabljeno funkcijo izgube pri učenju. Metoda temelji na prediktivni paradigmi ne samo opazovanja verjetnostne gostote vzorca, ampak še posebej na pridruženi gostoti k bodočim opazovanjem (testni množici), ob upoštevanju pogojev, ki se nanašajo na učno množico (vzorec) [46]. 5.3.3 Bavesov model Uporaba Bavesovega modela omogoča oceno porazdelitve napovedanih vrednosti, s tem pa tudi določanje Bavesovih predikcijksih intervalov. Uporaben je za mešanico, ansambel modelov, ki jih lahko uporabimo za napovedovanje ene časovne vrste. Pod imenom Bavesovi modeli za napovedovanje v literaturi naslavljajo razred linearnih dinamičnih modelov [28]. Za razliko od klasičnih modelov, kjer modeliranje predstavlja iskanje modela z določenimi parametri ali iskanje vektorja parametrov 0, ki izvaja točkovne napovedi, pri Bavesovih modelih, ki so verjetnostni modeli, negotovosti napovedi opišemo z verjetnostno porazdelitvijo /?(©), ki je določena na učni množici, ki jo kot apriorno distribucijo opišemo s p(®\a). Poseben primer je normalna porazdelitev za /?(0p). Z uporabo Bavesovega izreka 91 Angl. bootstrapping ali resampling prevajamo z razmnoževanjem podatkov [101]. 92 Angl. density forecasts prevajamo z gostotnimi napovedi. 102 NAPOVEDOVANJE ČASOVNIH VRST [14] posteriorno porazdelitev parametrov 0 opišemo kot produkt apriorne porazdelitve in funkcije verjetja. Pri iskanju nabora parametrov 0 običajno maksimiziramo posteriorno distribucijo. Pri točkovnem napovedovanju vrednosti v prihodnosti je prediktivna negotovost pri Bavsovem modelu povsem določena [14]. Kljub obetavnim lastnostim Bavesovih modelov je njihova izvedba zahtevna. Za njihovo izvedbo se uporabljajo simulacijska orodja kot sta Markovska veriga Monte Carlo (angl. Markov Chain Monte Carlo, MCMC, MC2) ali metoda z relevantnimi vektorji (angl. Relevance Vector Machine, RVM) [14], [15]. RVM predstavlja Bavesovo ogrodje za regresijo, kjer je model, ki ga učimo verjetnostna mreža, s podobnimi lastnostmi »raztresenosti« kot popularni SVR modeli (stran 138). Njene uteži (vektor parametrov 0) imajo apriorne verjetnosti. Njihovo določanje »upravlja« množica hiperparametrov, ki se nanašajo na uteži in katerih najbolj verjetne vrednosti določamo skozi učenje. Redkost, raztresenost je dosežena s pomočjo posteriorne porazdelitve določenih uteži, ki jih dodamo v modelu ali zavržemo [14]. 5.3.4 Izbira metode za določanje predikcijskih intervalov Pri izbiri metode za določanje predikcijskih intervalov smo omejeni z obstojem teoretične formule. Nujno je diagnosticiranje porazdelitve ostankov. Največkrat pri modeliranju z določeno metodo predpostavimo, da je model v svoji družini optimalen, toda še vedno je potrebno diagnosticiranje porazdelitve predikcijskih napak [28]. Včasih se zgodi, da je model preveč prilagojen učni množici (na primer pri nevronskih mrežah ali ARIMA modelih), kar se potem pokaže kot bistveno širša varianca napake na testni množici v primerjavi z varianco ostankov. Prav zaradi odsotnosti zagotovila o optimalnosti prediktorja pri nevronskih mrežah se za določanje predikcijskih intervalov pogosto uporabljajo metode razmnoževanja podatkov, S-metoda z uporabo Hessove matrike (stran 91), sendvič estimatorji in druge empirične metode. Tibshirani [200] je empirično potrdil, da da najboljše rezultate metoda z razmnoževanjem podatkov. Ta je po konceptu najbližja modeliranju s črnimi škatlami, kjer se držimo principa, da vse lastnosti prediktorja izpeljemo iz učne množice. V disertaciji smo se odločili za vrednotenje predikcijksih intervalov za najbolj uspešne modele za kratkoročno napovedovanje časovnih vrst. Uporabljamo 2 algoritma za razmnoževanje podatkov. Ocenjevanje napake večjega števila modelov: /. Ustvari B učnih vzorcev (učnih podmno^ic), vsak doline n, i^ osnovne množice dolge N vzorcev. Osnovno učno množico označimo % \(\l,y]),(x2,y2),...,(\N,yN)\. b -ti vzorec označimo ^ L *b *k / *b *6s / *b *bA %xx ,y, ),(x2 ,y2 ),...,(x„ ,yn )]. 103 Univariatno modeliranje 2. Za vsak vzorec b — \,...,B izračunamo parametre 0 % minimi%iranjem vsote kvadratov ±(y;b-y(x?;®'b)Y 3. Standardno napako i -te napovedane vrednosti ocenjujemo ^ naslednjo oceno: y(xr,-)=^iy(xr,&'b) O b=\ Razmnoževanje učnih vzorcev s pomočjo ostankov: I^učne množice ocenimo 0 in izračunamo ostanke ri — yi — y(xj',&) %a i = 1,2,...,« . Ustvarimo B vzorcev (učnih množic) s preurejanjem ostankov rx,r2,...,rn. b-ti vzorec ostankov označimo ^ Tj ,r2 ,...,rn , medtem ko je novi i^hod glede na ostanke dobljen ^enačbo yt — y(xj ;0) + ri . Z vsak vzorec b = l,...,B izračunamo parametre 0 ^ minimi%iranjem vsote kvadratov Standardno napako i -te napovedane vrednosti ocenjujemo ^ naslednjo oceno: B l—fdy(Xi;@"b)-y(Xi;.)y ~ 1 /,=i b=\ B Mx,;.)=^X>'(x,.;e•',) B b=\ Drugi algoritem temelji na predpostavki, da je vzorec napak, ki ga naredi »izbrani« model reprezentativen, da so napake modela naključne. Ce pride do pretiranega prilagajanja modela k učni množici, potem je bolje uporabiti prvi algoritem, za katerega pričakujemo, da bo bolj robusten. Oba algoritma sta primernejša za določanje predikcijksih intervalov pri modeliranju s črnimi škatlami kot na primer asimptotični predikcijski intervali, kjer je za določanje intervalov potrebno poznavanje strukture prediktorja [93]. 5.4 Univariatno modeliranje O univariatnemu modeliranju govorimo, ko modele zgradimo samo iz opazovane časovne vrste. Najprej bomo opisali običajne regresijske metode za modeliranje časovnih vrst, kot so določanje 104 NAPOVEDOVANJE ČASOVNIH VRST trenda ter možnih cikličnih sprememb. V disertaciji uporabljamo običajno linearno regresijo, pace regresijo, lokalno uteženo regresijo in regresijska drevesa (sodijo med modele strojnega učenja), ki jih bomo opisali v tekočem poglavju. 5.4.1 Določanje trenda Za dolgoročno napovedovanje je včasih koristno določiti trendno krivuljo. Trendne krivulje so lahko linearne, polinomske, eksponentne, logaritemske in podobno. Določeni avtorji svetujejo, da trendne krivulje uporabimo za dolgoročno napovedovanje, za obdobje, ki je krajše od obdobja opazovanja pojavov [27]. Problem nastopi, ko se več krivulj enako dobro prilagodi opazovanim podatkom, žal pa so njihove napovedi za prihodnost bistveno različne. Pri časovnih vrstah enosmerne napetosti smo opazili izrazito trendno obnašanje pri časovnih vrstah, ki jih ustvarjajo Zenerjeve diode LM329 ter skupina zaporedno vezanih štirih najbolj stabilnih LM329. O trendu v časovnih vrstah napetosti smo govorili v naslednjih poglavjih: • OPIS VIROV ENOSMERNE NAPETOSTI, v podpoglavju Linearni model lezenja, na strani 18, Slika 2.2 na strani 20 kaže trendno spreminjanje napetosti na izhodu Fluke 732B. • SPLOŠNO O DOMENAH, Slika 3.6 a) in Slika 3.7 na strani 26 kažeta trendno obnašanje časovnih vrst diod tipa LM329. • ANALIZA IN MODELIRANJE ČASOVNIH VRST, v podpogalvju Trend v časovnih vrstah enosmerne napetosti smo na strani 36 obravnavali trend v časovnih vrstah napetosti ter iskali vzroke za njegovo pojavljanje. Slika 4.1 kaže izrazit trend časovne vrste LM329 ter njegovo odpravljanje (z diferenciranjem), kar je predpogoj za nadaljnje modeliranje časovne vrste. 5.4.2 Linearna regresija z navadnimi najmanjšimi kvadrati linearna regresija sodi med najbolj enostavne statistične metode. Njena osnovna ideja (Slika 5.22 na strani 142) je izražanje sedanje vrednosti v časovni vrsti, kot linearna kombinacija preteklih: x = w0 +wlxl +... + w x Enačba (5.25) kjer je x sedanja vrednost, x = x{,x2,...,x je preteklih p vrednosti in w0,wl,..w so uteži ali parametri modela. Uteži računamo na učni množici, ki jo sestavljajo časovno vloženi vektorji, 105 Univariatno modeliranje sestavljeni iz zaporednih opazovanj sistema. Vsak vzorec predstavlja časovno zaporedje opazovanj dinamičnega sistema. Na primer, x(ri),xl(ri),x2n),...,x (ri) je n-ti vzorec učne množice, x(«) = xl(n),x2n),...,xp(n) so vrednosti vhodnih atributov, x{n) pa je želeni izhod (Slika 5.4, stran 84). Z metodo linearne regresije izbiramo nabor uteži, ki minimizirajo naslednjo vsoto kvadratov razlik: X X(n)-Yjwjxj(n>) Enačba (5.26) Za določanje uteži, ki minimizirajo napako napovedi na učni množici, se uporabljajo različne metode93. Če je število vzorcev učne množice večje od števila uteži, potem numerična metoda za določanje uteži zahteva operacijo računanja inverzne matrike [225]. Metodo imenujejo navadni najmanjši kvadrati (angl. ordinary kast squares, OLS). V disertaciji smo uporabili navadno linearno regresijo kot model črne škatle. Uporabili smo njeno implementacijo v programskem paketu WEKA [218]. Ta za ocenjevanje in izbiro modelov v času izgradnje uporablja Akaikejev informacijski kriterij AIC (enačba (5.17) na strani 96) in srednjo kvadratno napako MSE na učni množici. 5.4.3 Pace regresija Linearna regresija z navadnimi najmanjšimi kvadrati je enostavna in teoretično dobro zasnovana. Zal ne zaznava redundanc v množici odvisnih atributov in zato v praksi deluje slabše, če imamo visokodimenzionalen vhodni prostor [216]. Običajni načini, da izboljšamo rezultat linearne regresije so: • Izbiranje informativnih atributov - parametrov (angl. subset selection): — Iščemo množico informativnih atributov na podlagi vnaprej določenih kriterijev, kot so na primer AIC, BIC, ki so opisani na strani 95 ali z algoritmom ReliefF [101], [153]. Metode običajno slonijo na računanju, koliko se ta kriterij spremeni, če odstranimo določen atribut. Temeljijo na predpostavki, da pomembni, informativni atributi signifikantno vplivajo na predikcijo. 93 Metodo najmanjših kvadratov smo opisali na strani 141. Definirali smo kvadratno funkcijo izgube kot mero razlikovanja med modeli. 106 NAPOVEDOVANJE ČASOVNIH VRST • Krčitev ali glajenje koeficientov (angl. shrinkage methods) je zvezna inačica izbiranja informativnih atributov, ko kaznujemo kompleksnost modela zato, da bi zmanjšali varianco modela [216], [217]: - Sedlasta ali regularizacijska regresija (angl. ridge regression) [66] — Laso regresija. V disertaciji smo preizkusili izbiro vhodnih atributov po kriterijih najmanjših kvadratov, AIC in RelieF. Vendar pri modeliranju ne posvečamo veliko pozornosti izbiri informativnih atributov, saj ne modeliramo sistema z velikim številom vhodnih parametrov. Uporabljamo še eno metodo za linearno regresijo, ki sta jo opisala avtorja Wang in Witten [216], [217], [218], [225] ter jo poimenovala pace regresija (angl. Projection Adjustiment by Contribution Estiatioti). Ta temelji na empiričnem Bayesu. Teoretično zagotavlja optimalnost napovedi, če je število prostih parametrov v sistemu, ki ga modeliramo, neskončno. Temelji na napovedovanju verjetnosti bodočih opazovanj sistema. Za vrednotenje uspeha verjetnostnih napovedi uporablja Kullback-Leiblerovo mero razdalje med dvema porazdelitvenima funkcijama [217]. Za preiskovanje prostora možnih rešitev uporablja izboljšane cenilke največjega verjetja (angl. maximum likelihood estimators, MLE), ki slonijo na uporabi empiričnega Bayesa. Uporablja lastnost MLE o asimptotski normalnosti. Osnovne atribute (parametre) transformira v ponarejene. Ustvarja neparametrične mešanice ocen, ki se nanašajo na porazdelitve ponarejenih atributov. Na njih izvaja empirično Bayesovo analizo z namenom določanja porazdelitvene funkcije bodočih opazovanj in vrednosti vzorcev, ki pripadajo tej porazdelitvi. Metoda je podrobno opisana v [216]. V disertaciji uporabljamo njeno implementacijo v programskem paketu WEKA [218], [225]. 5.4.4 Lokalno utežena regresija V disertaciji uporabljamo še en princip učenja, ki ga imenujemo k-najbližjih sosedov [101], [225], ki spada med vrsto lenih učenj. Ko napovedujemo funkcijsko vrednost za nek vhodni vektor, poiščemo podmnožico podobnih primerov v preteklosti, katerih funkcijske vrednosti uporabimo za napoved funkcijske vrednosti trenutnega vhoda. Pri linearni regresiji običajno najprej poiščemo k-najbližjih sosedov, skozi katere potem izvedemo regresijo94. Lokalno utežena K-najbližjih sosedov lahko povežemo s kvadratno funkcijo, večnivojskim perceptronom in podobno. 107 Univariatno modeliranje regresija sestavi lokalno aproksimacijo ciljne funkcije v okolici novega primera. Ta aproksimacija se uporabi za napoved vrednosti funkcije za dan vhod [101]. V disertaciji uporabljamo proceduro, ki implementira lokalno uteženo regresijo, ponovno v programskem paketu WEKA [218], [225]. Izbrali smo k-najbližjih sosedov po evklidski razdalji in jih obtežili z uporabo linearne jedrne funkcije, ki smo jo opisali na strani 147. 5.4.5 Druge statistične metode za regresijo Poleg linearne regresije se je v statistiki uveljavila množica efektivnih metod za napovedovanje časovnih vrst, kot so adaptivno filtriranje, Bayesovo napovedovanje s Kalmanovim filtriranjem itn. Med popularnimi statističnimi metodami velja omeniti: posplošeno aditivno metodo95 in regresijo z zasledovanjem projekcij96 [57], [66], [67]. O posplošeni aditivni metodi govorimo, ko napovedano vrednost predstavimo kot vsoto funkcij z različnimi argumenti, ki so običajno vrednosti časovne vrste z različnim zamikom. Regresijo z zasledovanjem projekcij sta 1981 predstavila Friedman in Stuetzle. Ce je X = (jc,+1,...,JC/+ ) vhodni vektor in y ocenjeni izhod, jo predstavlja enačba: y = y + HPJm(aJx) Enačba (5.27) am predstavlja vektor konstant ustrezne dolžine, J3m je skalar, funkcije (j)m pa so ocenjene iz podatkov tako, da bo njihovo povprečje 0. Ce primerjamo (j)m z aktivacijsko funkcijo pri nevronskih mrežah, imajo (f)m prednost, da se prilagodijo podatkom, medtem ko je aktivacijska funkcija pri nevronskih mrežah vnaprej določena (na primer sigmoidna ali logistična funkcija). Eden izmed avtorjev omenjene metode, Friedman, je leta 2003 s sodelavci predstavil novo metodo [67] za linearno regresijo, ki jo je poimenoval gradientno vodena regularizacija97. Metoda sloni na predstavitvi množice kandidatov prediktorjev, ki tvorijo tirnico v nekem prostoru, skupaj s svojimi parametri in na izbiranju prediktorja kot točke tirnice. Obstaja več 95 Angl. Genereali^edAdditive Mode/s, GAM, prevajamo s posplošenimi aditivnimi modeli. 96 Angl. Projection Vursuit Regression, PPR, prevajamo z regresijo z zasledovanjem projekcij. 97 Angl. Gradient Directed Kegulari^ation prevajamo z gradientno vodeno regularizacijo. Metoda sodi med sedlastimi ali regulacijskimi metodami. 108 NAPOVEDOVANJE ČASOVNIH VRST načinov za tvorjenje tirnic modelov z uporabo gradientnih metod. Nekatere slonijo na kaznovanju, druge pa na regularizacijskih metodah, ki pri iskanju parametrov regresije minimizarjo tveganje ali izgubo v smislu popularne statistične teorije učenja [34], [210], [211]. Metode minimizacije izgube so se uveljavile zaradi robustnosti njihovih izhodnih modelov ter zaradi možnosti omejevanja parametrov regresije s strani uporabnikov. Omenjenih metod v disertaciji ne uporabljamo. 5.4.6 Regresijska drevesa Med statističnimi metodami in metodami strojnega učenja ne obstaja ozka meja, saj metode strojnega učenja izvirajo iz statistike in računalniških znanosti. Medtem ko je v statistiki poudarek na testiranju predpostavk, se v strojnem učenju ukvarjajo s posplošitvijo kot iskanjem med različnimi možnostmi. V zgodnjih 80-ih letih so raziskovalci vzporedno v statistiki (Breiman in ostali) in v strojnem učenju (Quinlan) razvili metodo indukcije odločitvenih dreves. Poseben primer odločitvenih dreves so regresijska drevesa, ki jih uporabljamo v disertaciji. Odločitvena drevesa so ne le učinkovit mehanizem za klasifikacijo in numerično napovedovanje (regresijo), temveč tudi mehanizem za predstavitev strukture podatkov. Spadajo v širši razred metod induktivnega učenja, ki je podmnožica avtomatskega učenja iz rešenih primerov [101]. Odločitvena drevesa so sestavljena iz notranjih vozlišč, ki predstavljajo razvejišča pri klasifikaciji vej, ki so podmnožice vrednosti vhodnih polj ter listov, ki predstavljajo razrede. Pri izgradnji odločitvenega drevesa je osnovna naloga, da iz predstavljenih podatkov, učnih primerov, zgradimo odločitveno drevo, ki ponazarja preslikavo med izbranimi vhodnimi polji, atributi in izbranim izhodnim poljem, razredom. Postopek ustvarjanja odločitvenega drevesa iz učne množice imenujemo indukcija drevesa. Pri indukciji začnemo s praznim drevesom in celotno množico učnih objektov. Na vsakem koraku s pomočjo hevristične mere izberemo atribut, ki na poti do trenutnega vozlišča še ni bil uporabljen. Cilj indukcije je najti hipotezo, ki temelji na učnih primerih in je zmožna uspešno predvideti izhode še nerešenih primerov [101]. Ce število učnih primerov ni dovolj veliko, ali če podatki vsebujejo šum, običajno pride do prekomernega prilagajanja učnim primerom. Rezultat tega so velika odločitvena drevesa, ki vsebujejo precej nepomembnih vej. V ta namen obstajajo postopki za rezanje nepotrebnih vej. Modeliranja s pomočjo odločitvenih dreves se lotimo tako, da pripravimo množico rešenih primerov. Kot običajno s pomočjo učne množice gradimo odločitveno drevo in s pomočjo testne množice preverjamo zanesljivost zgrajenega drevesa. 109 Univariatno modeliranje Medtem ko odločitveno drevo omogoča klasifikacijo novih primerov, regresijsko drevo omogoča napovedovanje funkcijskih vrednosti. Ko iščemo rešitev za nek nov, še nerešen primer, začnemo v korenu drevesa in se v vsakem atributnem vozlišču odločimo za vejo glede na vrednost pripadajočega atributa v nerešenem primeru, vse dokler ne pridemo do lista, in s tem do predlagane rešitve. V statistiki je regresija postopek za določanje vrednosti uteži pri izražanju izhoda regresije kot linearne kombinacije prejšnjih vrednosti, regresijsko drevo pa predstavlja odločitveno drevo z listi, ki vsebujejo največkrat povprečne numerične vrednosti, oziroma predstavljajo povprečen izid dogodkov, ki dosegajo liste [225]. Razen povprečja uvrščenih primerov v listih lahko nastopajo premice, linearne kombinacije ali poljubne funkcije vrednosti atributov. Predstavitev znanja z odločitvenimi in regresijskimi drevesi lahko posplošimo tako, da namesto enega atributa v notranjem vozlišču nastopa poljubna funkcija vseh atributov. Tudi konstantno vrednost razreda v listih je mogoče zamenjati s poljubno funkcijo. To je običajna situacija pri regresijskih drevesih, ko v listu nastopa linearna kombinacija podmnožice atributov [101]. Tako tip drevesa Witten in Frank [225] imenujeta modelno drevo. 5.4.6.1 Učenje regresijskih dreves Regresijska drevesa, konkretneje modelna drevesa, gradimo s programskim paketom WEKA [218]. Drevesa so zgrajena z algoritmom za indukcijo odločitvenih dreves ali pa z uporabo osnovne metodologije »razveji in omeji« za odločitvena drevesa. Algoritmi med izgradnjo drevesa atribute delijo/vejijo, da bi maksimizirali informacijsko vsebino podatkov [101]. Osnovni algoritem za gradnjo regresijskih dreves, ki ga je opisal Kononenko v [101], je podan na naslednji način: Ceje izpolnjen ustavitvenipogoj, potem postavi list, ki vključuje vse učne primere; sicer ustvari funkcijo, ki modelira učne primere v listu; izberi »najboljši« atribut At; označi naslednike ^ vrednostmi atributa Ai; %a vsako vrednost V, atributa Ai ponovi: rekur^ivno ogradipoddrevo ^ ustrezno podmno^ico učnih primerov. 110 NAPOVEDOVANJE ČASOVNIH VRST Pri izgradnji drevesa ustavitveni pogoj upošteva kakovost funkcije, ki modelira učne primere v listu. V listih, kot smo že prej povedali, nastopa konstanta (kot povprečje primerov uvrščenih v ta list), linearna funkcija (razred modeliran s premico), poljubna funkcija. Za ocenjevanje najbolj informativnega atributa se pri izgradnji dreves uporabljata meri: razlika variance [101] in regresijski ReliefF [153]. Možna mera je lahko tudi ocena kakovosti funkcije, s katero bi lahko modelirali primere v naslednikih trenutnega vozlišča. Zanesljivost ocene kakovosti atributa je odvisna od števila učnih primerov. Zgrajeno drevo uporabljamo za določanje vrednosti odvisne spremenljivke novih primerov. Od korena potujemo po vejah do lista. Vrednost odvisne spremenljivke za dani primer napovemo s funkcijo, ki je v tem listu (povprečje, linearna ali katera druga funkcija). Regresijsko drevo po svoji obliki predstavlja funkcijo, simbolični opis zakonitosti v domeni, ki jo modeliramo in zato je še posebej zanimivo za strokovnjake iz problemske domene. Zato bi ga lahko uvrstili med modele »belih škatel«. V disertaciji ga uporabljamo samo na nivoju vhodno-izhodne preslikave, kot črno škatlo. Na nižjih nivojih vozliščem ustreza majhno število učnih primerov in so zato nezanesljiva. Kljub dejstvu, da ustavitveni pogoji poskušajo ustaviti gradnjo, ko ta postane nezanesljiva ali nepotrebna, se gradnja običajno nadaljuje. Drevo se ponavadi naknadno poreže98. Za vsako vozlišče se izračuna pričakovana napaka", ki jo je Kononenko podrobno opisal v [101]. Potem primerjamo pričakovano napako v vozlišču, če le-to postane list s pričakovano napako, če ne porežemo poddrevesa. Ce je pričakovana napaka poddreves večja, jih porežemo. To ponavljamo za vsa vozlišča od spodaj navzgor do korena [101]. V disertaciji uporabljamo porezana in neporezana drevesa. 5.5 Klasične statistične metode Najbolj pogosto uporabljani metodi pri modeliranju časovnih vrst v preteklosti sta bili eksponentno glajenje in Box-Jenskinsovi ARIMA modeli. Angl. postpruning prevajamo z naknadnim rezanjem [101]. Druga možnost je uporaba principa najkrajšega opisa (angl. MinimalDescription luength, MDL). 111 Klasične statistične metode 5.5.1 Eksponentno glajenje in Holt-Wintersova metoda Eksponentno glajenje se uporablja pri modeliranju stacionarnih časovnih vrst in je zelo učinkovit za modeliranje procesov, ki so po naravi drseča povprečja (podpoglavje Drseče povprečje na strani 45). V disertaciji se bomo ukvarjali s Holt-Wintersovo metodo, ki je posplošeno eksponentno glajenje za vrste s trendom (in sezonskimi učinki), ki bi ga radi uporabili na primer pri modeliranju časovnih vrst LM329. Podrobnejši opis omenjenih metod pa najdemo v [17], [20], [27], [228]. Ukvarjamo se z eksponentnim glajenjem, ki je primerno za časovne vrste z linearnim ali pridušenim trendom. Odkrila sta ga Brown in Holt neodvisno drug od drugega. Holt ga je prvič uporabil med Drugo svetovno vojno [188]. Enostavno eksponentno glajenje je pragmatičen model, ki vsako vrednost časovne vrste xt ponazori kot vsoto konstantnega dela bin. dela napake £t, ali xt = b + £t. Konstantni del b mora biti stabilen, skozi določene segmente časovne vrste pa se vseeno lahko počasi spreminja. Ce bi radi določili b ali sistematični in predvidljiv del vrste, potem lahko izvajamo drseče povprečje, tako da damo večjo težo bližnje preteklim vrednostim v vrsti, kot vrednostim, ki so se zgodile v »starejši« preteklosti. Enostavno eksponentno glajenje poda enačba: St = axt + (1 - a)St_x Enačba (5.28) Vsako novo zglajeno vrednost v časovni vrsti računamo kot obteženo povprečje sedanje opazovane vrednosti in prejšnje zglajene vrednosti. Posledično je obteženo povprečje vseh prejšnjih vrednosti, tako da uteži upadajo eksponentno, odvisno od vrednosti a 10°. Eksponentno glajenje je postalo popularna metoda za napovedovanje, ko je Makridakis leta 1986 [117] eksperimentalno pokazal, da je pri napovedovanju 1 korak vnaprej najboljša metoda med 24-imi možnimi metodami in da bo ne glede na teoretično ozadje, ki zgradi časovno vrsto, eksponentno glajenje, kot prediktor za 1 korak vnaprej dalo dobre rezultate. V disertaciji uporabljamo eksponentno glajenje s trendom in sezonskimi učinki, kot je realizirano v programskem paketu Statistica [188]. Da bi se prepričali o optimalnosti modela eksponentnega glajenja smo poskuse ponovili s programskim paketom SPSS [228]. Izbira parametra a je zelo pomembna. Ocenjujemo ga iz podatkov (ni predhodno določen) običajno s samodejno ali požrešno metodo iskanja101. Model za določeno izbiro a 100 Če je a=l, pretekla glajenja ignoriramo. Če je oc=0, sedanjo zglajeno vrednost predstavimo samo preko preteklih glajenj, in sicer je SQ . Praktično d G (0,1) . 112 NAPOVEDOVANJE ČASOVNIH VRST testiramo tako, da napovedujemo 1 korak vnaprej. Napako modela ocenjujemo z risanjem časovne vrste in izhodom modela ter iz ostankov. S pomočjo ostankov tvorimo razen povprečne kvadratne napake, ali vsote kvadratnih napak, še druge ocene napake kot pokazatelje pomanjkanja prilagoditve prediktorja, kot so srednja napaka, srednja absolutna napaka , napaka v odstotkih, srednja napaka v odstotkih ali srednja absolutna napaka v odstotkih103. Pri iskanju najboljše izbire za a uporabljamo kvazi-Newtonov algoritem za minimizacijo funkcije napake ali požrešno iskanje [188]. Relativno pomembna je tudi izbira prve »zglajene« vrednosti S0, saj če je a « 0, bo S0 močno vplivala na prihodnje napovedi, v praksi pa njen vpliv ni kritičen. 5.5.1.1 Sezonski in ne-sezonski modeli z in brez trenda Do sedaj smo opisali kako zgradimo enostaven model eksponentnega glajenja z ocenjevanjem prilagoditvene zmožnosti modela. Opisani model lahko posplošimo s ciljem, da bi se prilagajal podatkom, ki vsebujejo trend in sezonske fluktuacije. Ideja posplošitve modela je v tem, da napovedana vrednost ni sestavljena samo iz modela eksponentnega glajenja preteklih vrednost, ampak tudi iz neodvisnega (zglajenega) trenda in dodanih sezonskih fluktuacij. Glede na obliko trenda modele eksponentnega glajenja delimo na modele brez, z linearnim, eksponentnim ali blagim trendom. Časovne vrste pogosto vsebujejo različne tipe cikličnih fluktuacij. O tem smo govorili v podpoglavju Analiza časovnih vrst s sezonskimi ali cikličnimi spremembami na strani 37. Le-te v modelih eksponentnega glajenja obravnavamo s pomočjo neodvisnega parametra 8. Sezonske ali, bolj splošno, ciklične komponente so po naravi lahko aditivne ali multiplikativne. Za aditiven model se odločimo, ko diagram vrste kaže stalne fluktuacije ne glede na celotni nivo spreminjanja, medtem ko se pri multiplikativnih modelih velikost sezonskih fluktuacij spreminja v odvisnosti od celotnega nivoja časovne vrste. V splošnem sezonske fluktuacije preprosto prištejemo k osnovnemu modelu ali pa model 101 a spreminjamo med 0,1 in 0,9 z določenim korakom in opazujemo vsoto/povprečje kvadratov ostankov ali napak predikcije. Izberemo tisto vrednost a, ki »povzroči« najmanjšo srednjo kvadratno napako, (angl. Mean Square Error, MSE), ki jo običajno imenujejo expost MSE. V splošnem lahko uporabljamo katero koli proceduro za minimizacijo funkcije. 102 Srednja absolutna napaka (angl. Mean Absolute Error, MAE) zmanjša pomen »izpadov« v časovni vrsti. 103 Napake, izražene v procentih glede na napovedovano vrednost, se včasih uporabljajo kot ocena intervala zaupanja predikcij. 113 Klasične statistične metode zmnožimo z njimi, kot smo opisali v Analiza časovnih vrst s sezonskimi ali cikličnimi spremembami na strani 37. Pri aditivnem modelu napoved\ — St + It , pri multiplikativnemu pa napoved\ = St * It_ , pri čemer je It_ zglajen sezonski faktor v času / — p , pri čemer je p dolžina sezone. Sezonski faktor ocenimo podobno kot enostavno eksponentno glajenje, in sicer na naslednji način za aditivni in multiplikativni model: Enačba (5.29) It=It.p+S(l-a)€t/Sn Napovedana sezonska komponenta v času / je izračunana v odvisnosti od pretekle sezonske spremembe z določenim deležem napake. Ce je S = 0, potem ni sezonskih sprememb. Ce pa je 1, potem so zelo izražene. Optimalna vrednost je S e (0,1) . Trend je lahko linearne, eksponentne ali počasi naraščajoče/padajoče (prekucnjene) oblike104. Analogno s sezonskimi komponentami trend prištejemo k osnovnemu modelu. Glajenje trenda opisuje y za linearne in eksponentne modele ter (/) za blago spreminjajoče se modele. Parameter (f) je parameter spreminjanja trenda in opisuje, kako hitro bo spreminjajoči se trend naraščal/upadal. V disertaciji je pri modeliranju določenih časovnih vrst smiselno uporabiti eksponentno glajenje z linearnim ali prekucnjenim trendom. Posebej nas je zanimal vpliv cikličnih fluktuacij, saj so v močnostnih spektrih nekaterih vrst (Slika 4.20 na strani 62) zaznavne špice pri urni frekvenci. 5.5.2 Box-Jenkinsova ali ARIMA metoda Med najbolj pogosto uporabljane metode za prediktivno modeliranje časovnih vrst v preteklosti nedvomno sodi Box-Jenkinsova ARIMA metoda. Podrobno je opisana v [17], [20], [27], [228]. V sedanjem času še vedno predstavlja referenčno metodo pri ponazarjanju prediktivnih lastnosti neke nove metode. Naravo ARIMA(p,d,q) procesov smo opisali v podpoglavjih ARMA proces, ARIMA proces, Sezonski ARIMA proces v poglavju ANALIZA IN MODELIRANJE ČASOVNIH VRST. Modeliranje z ARIMA modeli smo tudi že opisali v Splošna načela modeliranja v časovni domeni z ARIMA modeli na strani 49. Tukaj se bomo osredotočili na opis 104 Angl. damped trend prevajamo s počasi spreminjajočim se ali prekucnjenim trendom. Ponazarja pojav, ki se najprej hitro, potem pa vedno bolj počasi spreminja. 114 NAPOVEDOVANJE ČASOVNIH VRST scenarija za pridobivanje ARIMA modelov za kratkoročno napovedovanje na primeru vrst enosmerne napetosti: Identifikacija modela: — Pri časovnih vrstah LM329, ki vsebujejo trend, se odločimo za ARIMA model. — Pri časovnih vrstah LTZ1000, ki ne vsebujejo izrazitega trenda, se odločimo za ARMA model. Ocenjevanje parametrov modela: Pri časovnih vrstah LM329, ki imajo trend se odločimo za odštevanje sosednjih vrednosti, kar narekuje uporabo modelov ARIMA(p,\, q) . Pri obeh tipih časovnih vrst (LM329, LTZ1000) si pri izbiri parametrov p,q pomagamo z ocenjeno avtokorelacijsko in parcialno avtokorelacijsko funkcijo: Slika 4.3 a), Slika 4.4, Slika 4.5, Slika 4.7, Slika 4.8, Slika 4.9 in sicer tako, kot smo opisali na strani 50 v Splošna načela modeliranja v časovni domeni z ARIMA modeli. Pri modeliranju časovne vrste LTZ1000, Ref A (Slika 4.5) red avtoregresije ocenimo tako, da parameter p spreminjamo med 1 in 6, saj je toliko signifikantnih parcialnih avtokorelacijskih koeficientov. Pri modeliranju časovnih vrst LM329, ZEN6, (Slika 4.8) in skupine zaporedno vezanih LM329 (Slika 4.9) uporabljamo diferencirano časovno vrsto in red drsečega povprečja q spreminjamo med 1 in 7 oziroma 1 in 2. Podrobnejša razlaga o izbiri reda modelov je podana v podpoglavju Avtokorelacija na straneh 41 in 41. Pri umetnih časovnih vrstah, kot sta spremenljivka ^ Lorenzevega sistema in FBM, pa spreminjamo avtoregresijski parameter p v mejah med 1 in 6 (Slika 4.6, Slika 4.10, Slika 4.11). Za izgradnjo modelov ARIMA uporabljamo različne programske pakete Statistica [188], SPSS [228] in delno XLSTAT, kar implicira uporabo njihovih optimizacijskih paketov. SPSS uporablja cenilke največjega verjetja, kot je opisano na strani 50, MLE cenilke. Statistica uporablja iterativen postopek za izračun parametrov: s kvazi-Newtonovo metodo minimizira kvadratno funkcijo napake. SPSS uporablja le cenilko največjega verjetja105. 105 y programskem paketu Statistica lahko izbiramo med metodami za ocenjevanje cenilke največjega verjetja, MLE: 1) po McLodu in Salesu, 2) metodo z odlivanjem nazaj (angl. backcasing), 3) eksaktno Melardovo metodo. Avtorji programskega paketa [188] priporočajo uporabo 1) ali 2) v odvisnosti od dolžine časovne vrste, in sicer 1) za dolge časovne vrste, v vsakem primeru pa 3) za dokončno ocenjevanje parametrov. 115 Klasične statistične metode • Diagnosticiranje kakovosti modela: — Kakovost modela med izgradnjo ocenjujemo z analizo ostankov106. • Primerjava z ostalimi modeli — ARIMA modele primerjamo s skupino različnih metod, kot so metode za linearno regresijo, nevronske mreže in modeli podpornih vektorjev. Pri izgradnji vseh modelov se dosledno držimo scenarija, ki je opisan v poglavju POSKUSI: različne modele gradimo na enakih segmentih časovnih vrst in napovedujemo povsem druge segmente časovnih vrst, toda za vse modele veljajo enaki pogoji »učenja« ali identifikacije in ocenjevanja parametrov in napovedovanja. Pri ocenjevanju parametrov smo se, poleg splošnih načel modeliranja z ARIMA modeli [17], [20], [27], [228], držali tudi navodil programskega paketa Statistika [188]. Pri iskanju optimalnega ARIMA(p,d,q) modela smo vseeno držali načela, da naj bi izbrani model imel parametra^) in q v mejah med 0 in 6. Časovne vrste LTZ1000 nismo diferencirali (d = 0). Pri časovnih vrstah LM329 smo zaradi trenda uporabljali diferencirano vrsto {d = 1). Alternativa uporabi navadnih ARIMA modelov bi bila uporaba SARIMA modelov, ki smo jih opisali v podpoglavju Sezonski ARIMA proces na strani 48. Toda v časovnih vrstah enosmerne napetosti (kot smo že obravnavali na strani 37 v Sezonski učinki v časovnih vrstah enosmerne napetosti) niso izraziti, pa tudi ni izrazitih špic s sezonsko periodo v njihovih avtokorelacijskih in parcialnih avtokorelacijskih funkcijah (Slika 4.3 a, Slika 4.4, Slika 4.7, Slika 4.8, Slika 4.9). Pri diagnosticiranju kakovosti modela med izgradnjo, kot smo povedali, pomembno vlogo igra analiza ostankov. Programski paketi običajno samodejno, iterativno določajo in ocenjujejo izbrane nabore vrednosti parametrov s standardno napako107. Mera za zanesljivost modela je njegova zmožnost napovedovanja na podatkih, ki jih nismo uporabili pri njegovi izgradnji. Dober model je tudi tisti, ki je »varčen« in so njegovi ostanki statistično neodvisni, vsebujejo samo šum in so brez sistematičnih komponent. Za ta namen je potrebno izrisati časovno vrsto ostankov, saj nas zanima, ali vsebujejo trend. Da bi raziskali obstoj cikličnih 106 Analiza ostankov pri statističnem modeliranju je podana v podpoglavju Analiza ostankov v poglavju ANALIZA IN MODELIRANJE ČASOVNIH VRST. 107 y programskem paketu Statistica parametre ocenjujemo z asimptotično standardno napako, ki jo izračunamo s pomočjo matrike parcialnih odvodov drugega reda, dobljeno s končnim diferenciranjem. Procedura ocenjevanja parametrov zahteva minimizacijo vsote kvadratov ostankov. Postopek ocenjevanja je iterativen, zato se lahko zgodi, da parametri dobijo velike vrednosti 116 NAPOVEDOVANJE ČASOVNIH VRST komponent, izrisujemo tudi korelogram ostankov. Ostanki »dobrega« modela naj ne bi vsebovali ne trenda, ne cikličnih sprememb. V družino Box-Jenkisovih metod, kot poseben primer ARIMA metod, sodi tudi avtoregresija po korakih (angl. stepivise avtoregression), ko časovno vrsto najprej diferenciramo in potem na diferenciranih podatkih poiščemo avtoregresijski model reda 1, ki opiše povezavo med trenutno vrednostjo in vrednostjo, ki je oddaljena od trenutne največ p korakov. 5.6 Multivariatno modeliranje v statistiki Pri multivariatnem modeliranju uporabljamo več »pojasnjevalnih« spremenljivk z namenom, da bi modelirali ciljno spremenljivko, predstavljeno v obliki časovne vrste. Pojasnjevalne spremenljivke običajno predstavlja množica neodvisnih spremenljivk. Med pogosto uporabljenimi multivariatnimi modeli je multipla regresija. Pri modeliranju z multiplo regresijo Chatfield poudarja pomembnost [27] povezanosti pojasnjevalnih spremenljivk. Pri modeliranju v ekonometriji pa ekonomisti razlikujejo med eksogenimi in endogenimi spremenljivkami. Eksogene so tiste, ki vplivajo na sistem, medtem ko na njih druge spremenljivke ne vplivajo. Endogene pa so tiste, ki vplivajo ena na drugo. Pričujoča naloga ne zajema metod multivariatnega modeliranja. 5.7 Nevronske mreže V disertaciji smo se odločili za uporabo nevronskih mrež, ker so univerzalno orodje, ki omogoča realizacijo poljubne vhodno-izhodne preslikave pa tudi ker se z učenjem prilagajajo okolju. Ko govorimo o mrežah običajno opisujemo njihovo strukturo (arhitekturo), numerični, optimizacijski ali učni algoritem, ki ga uporabimo za spreminjanje določanje njihovih uteži. Govorimo tudi, kako mrežo učimo z učno množico (ki je v našem primeru časovna vrsta) ter kako testiramo naučen model na testnih podatkih. Obstaja več tipov standardnih nevronskih mrež, ki nosijo imena njihovih razvijalcev ali strukture, ki jo predstavljajo: Hopfieldova, Boltzmanova, Grossbregerjeva, večnivojski perceptron, Kohonenova [101] in druge. V pričujoči nalogi se ukvarjamo le z usmerjenimi večnivojskimi in rekurentnimi mrežami. 117 Nevronske mreže Razvijalci umetnih nevronskih mrež so inspiracijo iskali pri bioloških sistemih in so z mrežami skušali realizirati visoko stopnjo paralelizma, asinhrono in večsmerno izvajanje, prilagodljivost v realnem času, robustnost glede na okvare in manjkajoče podatke, sposobnost učenja in samodejnega ustavljanja [101]. Osnovni gradniki nevronskih mrež so nevroni s povezavami (Slika 5.7). Nevroni imajo vhodne in izhodne povezave z utežmi wlJy funkcije kombiniranja vhodov108, ki je običajno obtežena vsota £jwikxi +cj ter izhodno funkcijo109 /, i,i*k ki je lahko pragovna (f(x) = l, za x>0;f(x) = — 1 sicer); sigmoidna funkcija f(x) = 9?° kot sestavljeno funkcijo enostavnih funkcij v nevronih. Nevroni so povezani v usmerjen acikličen graf. Vsak nevron običajno računa funkcijo oblike x. —>cr(yvTxi) (Slika 5.7) za sigmoidne mreže in X,. —> cr(|w -x.|) za radialne (RBF122) mreže, kjer je o : 9J —> 9? aktivacijska funkcija ter W uteži vstopnih povezav nevrona. Usmerjene nevronske mreže lahko uporabimo za realizacijo poljubne zakonitosti g, ki jo predstavlja množica učnih parov {(x/,g(x;))|/ = 1,2,..., Nj. Učenje nevronske mreže poteka običajno v treh korakih: najprej izberemo arhitekturo mreže, hiperparametre učenja (ročno ali samodejno), potem izberemo optimizacijski algoritem za določanje uteži z minimizacijo napake na učni množici (pogosto gradientna metoda, vzvratno razširjanje napake123) in nazadnje ocenimo zmožnosti posplošitve na testni množici oziroma na primerih, ki jih nismo uporabili za učenje. Običajno učenje in nadaljnja optimizacija arhitekture sta med sabo povezani. Učni algoritmi omogočajo prilagoditev arhitekture problemu (naraščanje in rezanje) z izvajanjem regularizacije. Na primeru modelov s podpornimi vektorji SVM124 je učenje formulirano v smislu optimizacije arhitekturnih komponent, z oblikovanjem roba na tak način, ali pod omejitvami, da bodo učni primeri korektno preslikani. V disertaciji se ukvarjamo z naslednjimi tipi usmerjenih nevronskih mrež (Slika 5.8): večnivojski perceptron (VP), skupinska metoda za obravnavanje podatkov ali GMDH mreža, mreža s časovnim procesiranjem podatkov ali FIR-VP. Posebej se bomo posvetili metodi s podpornimi vektorji ali SVM za regresijo v poglavju Jedrne metode in metoda podpornih vektorjev za regresijo. Z RBF ali radialnimi mrežami se ne bomo posebej ukvarjali, ker bomo zmožnosti radialnih funkcij preizkusili v okvirju metode SVM. 122 Angl. Radial Basis Function prevajamo z radialno bazno funkcijo. 123 Angl. Backpropagation prevajamo z vzvratnim razširjanjem napake. 124 SVM-je zaradi njihove arhitekture uvrščamo med nevronske mreže, saj jih je že leta 1964 njihov izumitelj, V. Vapnik, v svojih začetnih publikacijah o SVM-jih imenoval perceptrone ali »mreže« [37], [169], [211]. 121 Nevronske mreže Slika 5.7: Umetni nevron za aktivacijsko funkcijo f . 5.7.1.1 Aproksimacijske lastnosti, kompleksnost, naučljivost Preden predstavimo uporabljene tipe UNM in njihove učne algoritme bomo podali približne ocene računskih zmožnosti UNM. Univerzalna aproksimacijska lastnost za UNM, kot so VP, FIR-VP, RBF-VP in SVM-je, bila utemeljena v zadnjih 15-ih letih. En nivo v arhitekturi VP je zadosten za realizacijo katerekoli merljive realne funkcije, in to z določeno stopnjo preciznosti. Posledično je prostor za iskanje učnega algoritma, ki določa arhitekturo z ustreznimi utežmi, omejen na kandidate z enim do dveh skritih nivojev. Celo če je število primerov v učni množici omejeno, je Sontag [175] pokazal, da je za interpolacijo potrebno končno število nevronov. Dokazali so tudi univerzalno aproksimacijsko lastnost za SVM modele125 [79]. Poleg teoretičnega zagotovila o univerzalni aproksimaciji pri nevronskih mrežah in omejitvah pri njihovih arhitekturah (na primer potrebno število nevronov) je za praktično realizacijo nevronskih mrež pomemben način realizacije aproksimacije. Matematiki so za različne razrede funkcij iskali ustrezne tipe nevronskih mrež, ki jih realizirajo. Hkrati so se ukvarjali z arhitekturnimi omejitvami nevronskih mrež, enotnostjo njihovih parametrov, realizacijo drugačnih prenosnih funkcij (na primer jedrne funkcije pri SVM-jih). Število nevronov je, razen od kompleksnosti funkcije, odvisno od števila učnih primerov. 125 Če je število konceptov veliko in učimo model z ozkim pasom (margino), potem kapaciteta SVM arhitekture ni omejena. 122 NAPOVEDOVANJE ČASOVNIH VRST Slika 5.8: Usmerjene nevronske mreže: preceptron, večnivojski perceptron (sigmoidna aktivacijska funkcija), RBF-mreža; GMDH-mreža, FIR- večnivojski percepron in SVM. Za uporabo nevronskih mrež je pomembna kompleksnost njihovega učenja. Nevronske mreže običajno učimo z gradientnimi algoritmi. Medtem, ko je učenje navadnega peceptrona126 z linearnim programiranjem, ki sicer rešuje linearno ločljive probleme, v polinomskem času, je njegovo učenje poljubne preslikave ob prisotnosti šuma NP-poln problem [40]. Večkrat je bilo pokazano, da je celo učenje enostavnih problemov (s tem pa iskanje optimalnih rešitev) z nevronskimi mrežami NP-poln problem. V praksi pa večkrat zadoščajo dobre in ne nujno optimalne rešitve [79]. V nasprotju s klasičnimi nevronskimi mrežami lahko SVM-jev učni algoritem realiziramo s kvadratnim optimizacijskim algoritmom z omejitvami, kar pomeni, da je učenje polinomsko. Cilj povečanja posplošitvenih lastnosti je že prisoten skozi učenje nevronskih mrež, na primer z dodajanjem regularizacijskih parametrov pri izražanju napake. Postavlja se vprašanje obstoja optimalnosti. Poenotenje statističnih interpretacij z Bavsovo predikcijsko paradigmo omogoča odkrivanje približno optimalnih vrednosti [73]. SVM korektno rešuje regularizacijski problem. Ko naučimo model z uporabo učnih podatkov, nas zanimajo posplošitvene lastnosti modela na novih podatkih, z matematičnimi zagotovitvami o veljavnosti ugotovljenih lastnosti. Obstaja več formalizmov za opisovanje posplošitvenih lastnosti modelov, med najbolj popularnimi sta teorija verjetno približno pravilnega učenja ali PAC naučljivost (Valiant jo je 126 Perceptron lahko učimo kot poseben primer linearnega programiranja ali pa z S pravilom. 123 Nevronske mreže predstavil v [208]) in teorija uniformne konvergence empiričnega tveganja (sloni na statistični teoriji učenja [211]). PAC naučljivost zagotavlja dejstvo, da lahko najdemo vsaj en učni algoritem, takšen, da bo verjetnost »napačne« uvrstitve izhodov za primere testne množice konvergirala proti nič, ob pogoju da bo učna množica zadosti velika. Uniformna konvergenca empirične proti »pravi« napaki za vse možne vhode pa zagotavlja, da so vsi učni algoritmi z majhno napako učenja PAC [79]. Uniformni konvergenci za določen funkcijski razred ustreza kapaciteta tega funkcijskega razreda, s pomočjo katere se lahko izrazijo meje napake. Kapacitivnost funkcijskega razreda meri tako imenovana VC-dimenzija [32], [33], [34], [35], [179]. Velja celo, da je določen funkcijski razred PAC naučljiv n.t.k. je VC dimenzija končna. Z VC dimenzijami nevronskih mrež se ukvarja Sontag v [179]. Glede na to, da VC dimenzija opisuje kapacitivnost modela glede na arhitekturo, jo lahko uporabimo za raziskovanje aproksimacijskih lastnosti te arhitekture. Posplošitvene lastnosti so testirali tudi tako, da so spreminjali funkcijo izgube [34], [170]. Čeprav so splošne ugotovitve glede aprosimacijskih lastnosti, kompleksnosti, naučljivosti modelov trdne, potekajo številne raziskave prilagoditve in izboljšanja modelov za specifične domene uporabe. Pri modeliranju s klasičnimi nevronskimi mrežami ostaja odprto vprašanje iskanje optimalnega števila nevronov v skritih nivojih, ki je hkrati vprašanje velikosti modela ter problem doseganja lokalnih minimumov namesto globalnega pri učenju z vzvratnim razširjanjem napake in pri katerikoli gradientni metodi (Slika 5.9). funkcija napake koliko prostor nevronov? uteži Slika 5.9: Problemi pri praktičnem modeliranju s klasičnimi nevronskimi mrežami: število nevronov v skritih nivojih in problem lokalnega minimuma. 5.7.1.2 Večnivojski perceptron Večnivojski perceptron je usmerjena nevronska mreža, ki je primerna za realizacijo nelinearnih preslikav. Najbolj razširjen algoritem za učenje nevronskih mrež je posplošeno pravilo delta ali vzvratno razširjanje napake, ki ga je razvil Rumelhart s sodelavci leta 1986. Omogoča učenje mreže, sestavljene iz poljubnega števila nivojev [101] (Slika 5.10). 124 NAPOVEDOVANJE ČASOVNIH VRST Slika 5.10: Usmerjena večnivojska umetna nevronska mreža. Xi(i) so komponente vhodnega vektorja v času i,ji(i) so želene izhodne vrednosti, komponente izhodnega vektorja. Krogci predstavljajo nevrone, črte, ki povezujejo nevrone pa sinapse z utežmi. Kvadratki predstavljajo nevrone brez vhoda, katerih sinapse hranijo proste člene za nevrone naslednjega nivoja, mi je število nevronov na /-tem nivoju. Slika 5.11: Statičen večnivojski perceptron, uporabljen za napovedovanje časovnih vrst. Osnovni princip učenja je pravilo, ki smo ga opisali kot posplošeno pravilo delta, ki smo ga omenili na strani 118. Na začetku so uteži naključne. Mreža dobi vhodni vzorec in s propagiranjem po nivojih do izhodnega nivoja izračuna izhod. Izračuna napako ali razliko med dejanskim in želenim izhodom. Glede na napako popravi uteži najprej med zadnjim in predzadnjim nivojem. Potem se z veriženjem nazaj, rekurzivno računajo uteži povezav med vsemi nivoji vse do vhodnega nivoja. Na primeru modeliranja časovnih nevronskih mrež VP uporabimo statično, kot kaže Slika 5.11, le da dobimo vhode učne množice z vlaganjem časovne vrste s pomočjo časovnega okna in operatorjev zamud. Algoritem ponavlja naslednji korake vzvratnega propagiranja napake (opisan v [83], Havkin), za vse pare (x(n),y(n)), ki pripadajo učni množici \(\(n),y(n))\n={ 127: 1. Inicialhacija: Uteži nastavimo na naključne vrednosti ^ uniformno porazdelitvijo, s povprečjem 0, varianco izberemo po navodilih, podrobnejše opisana v [83j, Hajkin. 127 x(«) = (x{(n),X2(n),...,Xk(n)) so pri nas vektorji, ki smo jih dobili z vlaganjem časovne vrste v nek k -dimenzionalni časovni prostor, s pomočjo časovnega okna dolžine K , kot smo opisali na strani 65. 125 Nevronske mreže 2. Predstavitev učnih vzorcev: Mre^i predstavimo vse učne vzorce {(x(n),y(«)))^=l, ki predstavljajo razdobje učenja. Za vse vzorce učne množice izračunamo propagiranje vhodnega vzorca in vzvratno razširjanje napake, kot je to opisano v korakih 3. in 4. 3. Propagiranje vhodnega vzorca: Na/ bo učni vzorec nekega razdobja predstavljen z (x(^)>y(^))> \(n) = [X^(n),..Xk(ri)\ predstavlja vhodni vektor in y(ri) = [yl {n\..ym (ri)\ zeleni izhod mreže. Izračunamo aktivacijsko funkcijo za vsak nevron posebej, od vhodnega nivoja z veriženjem naprej. Aktivacijska funkcija V • (ri) j -tega nevrona na l -tem nivoju je podana z enačbo: v?O) = Šw(i'i (n)yf~l)O) Enačba (5.30) pri čemer je yi (ri) izhod i -tega nevrona prejšnjega, (l — 1) -tega nivoja pri n -ti iteraciji, w^ (ri) so uteži na sinapsah j -tega nevrona, l -tega nivoja, ki ga »napolnijo« nevroni i prejšnjega (l — 1) nivoja. Za i — \ imamo y0 (ri) — +1 in W-0 = b . (n) so svobodni členi, ki se nanašajo na j -ti nevron, l -tega nivoja. Izhod j -tega nevrona, l -tega nivoja, dobimo z izhodno, sigmoidno funkcijo, ki smo jo opisali na strani 118: y(!\n) = fJ{v{j\n)) Enačba (5.31) Na prvem skritem nivoju (l = V), j -temu nevronu izračunamo izhod: yW (n) = Xj (n) Enačba (5.32) pri čemer je X . (ri) j -ta komponenta vhodnega vektorja x(n) . Ce pa nevron pripada izhodnemu nivoju l — L , pri čemer je L globina mreže, izhod izračunamo z enačbo: yW) {n) = y. (n) Enačba (5.33) Napako tega izhoda izračunamo z enačbo: C/ O) = yj O) - y} (") Enačba (5.34) pri čemer je y . (ri) j -ta komponenta želenega izhodnega vektorja y(ri) . 4. Vzvratno razširjanje napake: 8 ali lokalne gradiente mreže računamo po naslednji enačbi: •(/) S)n(n) = < ej(ri)fj.(viL)(n)) za nevrone j izhodnega nivoja L fjvT (n))/! ^k+l) (n)wki+l) (n) za nevrone j skritega nivoja l Enačba (5.35) pri čemer je f prvi odvod sigmoidne funkcije. Uteži l-tega nivoja popravimo po posplošenem pravilu delta (d): 126 NAPOVEDOVANJE ČASOVNIH VRST wfj (n +1) = wJJ («) + a^ (if-)J+ /7^(/) («)y,(/_1) («) Enačba (5.36) 77 y> hitrost učenja in CCje vztrajnost. 5. Iteracija: ponavljamo koraka 3. in 4. v novem učnem razdobju, vse dokler ne bo zadovoljen vstavitveni kriterij. 1/stavitveni kriterij pri učenju nevronskih mre%je običajno naraščanje napake na nastavitveni množici. Slabost posplošenega pravila delta je, da ni zagotovila za optimalnost rešitve (Slika 5.9). Parametra tj in a spreminjamo (zmanjšujemo) med učenjem mreže, s tem »omilimo« problem lokalnih minimumov, vendar še vedno ni zagotovila, da bo opisan algoritem vrnil optimalne parametre. Problema izbire topologije (arhitekture) in prevelikega prilagajanja učni množici rešujemo na različne načine: s preprečevanjem pretiranega naraščanja uteži, brisanjem sinaps in posledično nevronov, z zelo majhnimi utežmi (rezanje) itn [83]. Običajno učenje začnemo z veliko mrežo in med učenjem odstranimo odvečne nevrone. S tem hkrati preprečimo pretirano prilagajanje učni množici [101]. Sama metoda izbire optimalne velikosti mreže včasih vpelje dodatne (regularizacijske) parametre učenja. Obstaja več hevristik, ki omogočijo boljši učinek osnovnega algoritma za učenje z vzvratnim razširjanjem napake, kot so maksimiziranje informacijske vsebine (na primer sledenje največji napaki učenja), izbira aktivacijske funkcije, normaliziranje vrednosti vhodnega vektorja, dobra izbira začetnih vrednosti uteži [83] itn. Hessova matrika, ki smo jo omenili na strani 93 pri opisu modeliranja s črnimi škatlami, _ d2V(w) je definirana kot drugi odvod funkcije ocene napak napovedi glede na uteži V (w) =--------—. dw Njene lastne vrednosti so osnova pri opisovanju dinamike posplošenega pravila delta. Inverzna Hessova matrika je osnova za rezanje mreže. Hkrati Hessova matrika predstavlja temelj za definiranje optimizacijske metode drugega reda, kot sta na primer konjugirana gradientna metoda in kvazi-Newtonova metoda, kot alternativi algoritem za posplošeno pravilo delta za učenje usmerjene nevronske mreže. 5.7.1.3 FIR večnivojski perceptron ali mreža s časovnim procesiranjem podatkov FIR-VP ali mreža s časovnim procesiranjem128 je vektorska posplošitev VP. Njegov učni algoritem je vektorska posplošitev vzvratnega razširjanja napake, ki ga imenujemo časovno vzvratno razširjanje napake [71], [83], [214]. Model nevrona v VP lahko spremenimo z uvedbo zakasnitev z utežmi na sinapsah, ki predstavljajo lokalni spomin. Prav zaradi tega je mreža s časovnim procesiranjem podatkov posebej primerna za napovedovanje časovnih vrst. Takšne 128 Angl. Time l^gged Feedforward Networs, TLFN prevajamo z mrežo s časovnim procesiranjem ali FIR-VP. 127 Nevronske mreže sinapse lahko obravnavajo časovno-spreminjajoče se signale in funkcionirajo kot filtri s končnim odzivom na enotin impulz (angl. Vinite-duration Impuh Response, FIR) (Slika 5.12). y, (") Xm («) —► Slika 5.12: Procesiranje signalov skozi FIR sinapse, kot vhodni signali nevrona v FIR-VP. •—i—nZj-]—HZjt-------*i£j—i wmf& vtiiff wj,ijp* w?j a FIR filter Slika 5.13: Potek signala skozi FIR sinapse, procesiranje signalov v nevronu, struktura FIR-VP. Najprej bomo opisali procesiranje mreže pri predstavitvi vhodnih vzorcev (Slika 5.12, Slika 5.13). Naj bo w7(&) k -ta utež FIR filtra na sinapsi, ki je izhod z -tega nevrona na /-tem nivoju do j -tega nevrona na naslednjem (/ + l)-vem nivoju. Signal s,,(«) ki se pojavi na z-ti sinapsi j -tega nevrona je podan s konvolucijsko vsoto s An) — w ..xi(«), kjer je xj(n) = [xj(t),...,xj(t — p)\ vložen vektor učne množice ali vektor prostora stanj in w// = lwjii(0)> w,ifG)»• • • »wjt (P)l Je vektor uteži na sinapsi i. Izhod >>,(«) j-tega nevrona dobimo po enačbi: y,(n) = f(Vi(n)) m0 m0 Enačba (5.37) i=\ i=i v («) je funkcija kombiniranja vhodov, / je nelinearna izhodna funkcija j -tega nevrona in b je prosti člen. 128 NAPOVEDOVANJE ČASOVNIH VRST Učni algoritem je posplošitev vzvratnega razširjanja napake ali časovno vzvratno razširjanje napake (angl. temporal backpropagation, TBP). Ta minimizira funkcijo napake, ki jo podajo enačbe: 'total =2>w s{n) = -^e2j(n) Enačba (5.38) ^ j ej{n) = yj{n)-yj{n) y j(n) je ocenjena, y . (n) pa želena vrednost j -tega izhoda v času n. Algoritem za računanje uteži išče optimalne uteži po metodi najhitrejšega padca gradienta napake. Povzetek spreminjanja uteži v skladu s TBP algoritmom opišeta naslednji enačbi [214]: wJi (« + !) = vfj. (n) + rjSj («)x, (n) 5i{n) = { ej(n)fj(vj(n)) za nevron j izhodnega nivoja /'(v7(«))XAr(")wry za nevron j skritega nivoja Enačba (5-39) rc.\ Pri navadnem vzvratnem razširjanju napake nastopajo skalarji, medtem ko v TBP algoritmu nastopajo vektorji: x|.(»), wrJ in \r (gradientni vektor). Slika 5.14 kaže, kako za izračun Sj(n) »propagiramo« S-e naslednjega nivoja, kar pomeni, da se simetrično s predstavitvijo vzorcev s FIR filtriranjem tokrat izvaja propagiranje napake s FIR filtriranjem. Osnovna inačica časovnega vzvratnega razširjanja napake je ne-vzročna in za računanje S-(n) zahteva poznavanje prihodnjih vrednosti ^ in w. Spremenimo ga v vzročnega z dodajanjem končnega števila zamud z utežmi ali FIR filtrov na povratnih sinapsah, tako da uporabljamo samo sedanje in pretekle vrednosti ^ in w. Pri spreminjanju uteži uporabljamo le sedanje in pretekle vrednosti gradientnih vektorjev Ar, ki smo jih prej shranili. Povzetek algoritma za vzročno časovno vzvratno razširjanje napake, TBP, ki je podrobnejše opisan v Havkin [83], podamo na naslednji način: 1. Predstavimo vhodni signal sko^i mre^o % veri^enjem vnaprej, nivo %a nivojem. Izračunamo napako e (n) = y{n) — y(ri), j -tega izhodnega nevrona. Zapomnimo si vrednosti vektorjev X. (n) sko^i sinapse. 2. Za j —ti izhodni nevron ute^i spremenimo po enačbi: w {n +1) = w (n) + tjS (n)x. (n) J \ J Enačba (5.40) S (n) = e (n)fj (n) 129 Nevronske mreže 3. Za nevrone skritih nivojev pa ute^i spreminjamo po obrazcu: wy/ 0? +1) = wyi in) + tjSj (n - lp)xi {n - Ip) ^.(«-/jP)=//(vy.(«-//7))x;Arw(«-/Jp)w "V Enačba (5.41) kjer je p dolina sin optičnega filtra in l določa nivo, če jih v tem primeru Štejemo od izhoda proti vhodu. meA " J Slika 5.14: Vzvratno razširjanje lokalnih gradientov skozi FIR sinapse. Mreža s časovnim procesiranjem omogoča simetrično veriženje vhodnih vzorcev in napak 8. Poleg te lastnosti, ki omogoča njeno realizacijo in učenje z posplošenim vzvratnim razširjanjem napak, je FIR-VP primerna celo za procesiranje nestacionarnih signalov. Havkin [83] jo skupaj z rekurentnimi nevronskimi mrežami izpostavlja kot najbolj primerno za identifikacijo, modeliranje in napovedovanje dinamičnih sistemov, filtriranje šuma, adaptivno kontrolo in drugo. Po računski moči so v [165] FIR-VP primerjali s polno povezano rekurentno mrežo, za katero je že dokazano, da je enako močna kot Turingov stroj129. V skladu z znanim izrekom Sandberga in Xuja [83] obstaja matematični dokaz, da je FIR-VP primerna za aproksimacijo vzročnih preslikav z »enakomerno-bledečim« spominom. 5.7.1.4 Skupinska metoda za obravnavanje podatkov ali GMDH mreža GMDH je mreža [85], [143], katere struktura se prilagaja učni množici skozi učenje (Slika 5.15). Procesni elementi PE so N-Adaline (adaptivni linearni elementi z nelinearnim 129 Primerjava računske moči nevronske mreže s Turingovim strojem potrjuje, da je opisana nevronska mreža računsko univerzalno orodje. Žal pa v smislu optimizacije potrjuje širino prostora za iskanje najboljših kandidatov in govori v prid predpostavki, da je učenje takšne mreže časovno kompleksno. 130 NAPOVEDOVANJE ČASOVNIH VRST predprocesiranjem) elementi z dvema vhodnima parametroma (Slika 5.16). Aktivacijska funkcija je polinom druge stopnje, kvadratna kombinacija dveh vhodov: f(xx,x2) = w0+wlxl+ w2x, + w3xxx2 + w4x2 + w5x2 Enačba (5.42) Slika 5.15: Primer naučene GMDH mreže. Nelinearni predprocesor X. Slika 5.16: N-Adaline element. Učni algoritem je Widrow-Hoffovo pravilo, ki ga bomo opisali. V času učenja se struktura mreže spreminja. Vsakič ko dodamo novi nivo, zbrišemo »nezadovoljivo delujoče« PE prejšnjega nivoja. Da bi onemogočili pretirano prilagajanje GMDH učnim podatkom, učno množico uporabljamo tako, da najprej z določenim delom časovne vrste gradimo model, naslednji del uporabimo za izbiro dobrih PE (Slika 5.17). Računsko je GMDH z m nivoji enako močan kot polinom 2m stopnje. Tako naj bi m -nivojski GMDH realiziral poljubno nelinearno preslikavo 2m stopnje [143]. 131 Nevronske mreže iUatp I IViiliirijiisji- I Slika 5.17: Premikanje po časovni vrsti pri izgradnji GMDH mreže: v fazi učenja število N-Adaline elementov narašča, v fazi prilagajanja pa odrežemo »odvečne« N-Adaline elemente. Widrow-Hoffovo učno pravilo opisuje spreminjanje uteži N-Adaline elementa ali PE v času k + l, z vhodnim vektorjem xk = [l, x{, xx , xlx2, x2, x2J v času k, ter z vektorjem uteži Yfk = [w0, wx, w2, vv3, w4, w5\ po enačbi: vv A- + 1 = *k +ar~tt(^-wIxa) Enačba (5.43) Pri tem je yk želeni izhod v času k in a e (0,1, 1) vztrajnost. Vrednosti vektorja w spreminjamo zato, da bi zmanjšali razlike med želenim in dejanskim izhodom. Celotna učna množica {(xA.,yk)\k=l je sestavljena iz vloženih vektorjev (vhodov xk c9T, dobljenih s časovnim zamikanjem in oknom dolgim d, in skalarnim izhodom, ki predstavlja želeni izhod yk), kot smo opisali na strani 85. Celotno časovno vrsto smo standardizirali po navodilih iz [143], še preden smo jo vložili in sestavili pare učne množice \(xk,yk)\k=\, tako da smo komponente vektorjev in želenega izhoda dobili po obrazcu x; = , pri čemer so xi mer dejanske vrednosti časovne vrste, x;. mer je povprečje v učni množici, (Xrx)w = XTY Enačba (5.47) Radi bi napovedali f(xi) = x/ W + b. To si lahko predstavljamo kot ravnino v (d + l)-razsežnem prostoru. Pri modeliranju regresije si želimo, da bi vsi učni primeri (\k,yk) ležali čim bližje te ravnine: \yt - x;w -b\< £. Če velja ta neenačba, potem ležijo vsi {xk,yk) znotraj pasu I H N2~ II m 2 t širine 2f / J1+ w . Torej je spet potrebno minimizirati |w| = w w [18]. 143 Minimizacijo funkcijo napake v kontekstu modeliranja s črnimi škatlami smo opisali na strani 89. 144 Metoda najmanjših kvadratov kot mero za odstopanje med želenimi izhodi in izhodi modela uporablja kvadratno normo ali najmanjše kvadrate. 141 Jedrne metode in metoda podpornih vektorjev za regresijo Slika 5.22: Določanje parametrov modela po metodi najmanjših kvadratov. Kvadratna funkcija izgube. Pri modeliranju linearne funkcije v smislu konveksnega optimizacij skega problema (Slika 5.23) [169], [172], [212] iščemo parametre modela z minimizacijo funkcije: 1|| i|2 — w 2II II glede na omejitve: yt -wrx/ -b 0 opisuje sploščenost funkcije / in podaja, kolikšna odstopanja od £ naj toleriramo, kar nas pripelje do definicije £-intenzivne funkcije izgube ]č\ , ki je definirana na naslednji način [163], [169], [172]: * I|S|_^ SlCer Enačba (5.50) Enačba (5.48) predstavlja kazensko optimizacijsko funkcijo [9]. Slika 5.24 ponazarja linearni f-SVM optimizacij ski problem z £ -intenzivno funkcijo izgube. Točke, ki so več kot £ oddaljene so ustrezno kaznovane. Odstopanje napovedi od želene vrednosti Slika 5.24: Določanje mehkih margin £ -intenzivne funkcije izgube pri linearnem SVR problemu. Zgornja slika kaže nastavitve optimizacij s kega problema. Spodnja slika kaže £ -intenzivno funkcijo izgube. 143 Jedrne metode in metoda podpornih vektorjev za regresijo 5.8.2 Dualni problem in kvadratno programiranje Pri optimizacij skih metodah [60] lahko iz prvotnega optimizacij skega problema z omejitvami konstruiramo Lagrangeovo funkcijo. Ta funkcija ima sedlo glede na prvotne in dualne spremenljivke v točki rešitve [9], [169], [172]. Definirana je na naslednji način: 1 := tIMI2 + CZ(£ + O - 2>£ + n',4',)- 2 /=i /=i - ^ ai {s + £. - yi + w rx;. + b) - Enačba (5.51) -JX(* + 6* +tt -wrx/ -b) L je Lagrangeova funkcija, J]i,Tji i(Xi,Gti so Lagrangeovi multiplikatorji. Kot dualne spremenljivke morajo zadoščati naslednjim neenačbam: aP,?jP >0 Enačba (5.52) Sedla Lagrangeove funkcije dobimo v točkah prvotnih spremenljivk (w,b,<^,č,-t ). Parcialni odvodi v teh točkah so nič: / i=\ l dwL = w - ^T(a* - ai)x. = 0 Enačba (5.53) i=\ dirL = c-al',-np = o Če v Lagrangeovi funkciji, ki jo opiše enačba (5.49), zamenjamo pogoje iz enačb (5.51), dobimo dualni optimizacij ski problem, ki je ekvivalenten prvotnemu, ki je podan z enačbo (5.47). Dualni (enakovredni) problem [9], [60] je definiran: maksimiziraj 1 - --£(«,.-<*;)(«,.-a*)xfx, iJ=l , Enačba (5.54) £y£(ai+a*) + ^yi(ai-a*) i=\ /=i i=i glede na omejitve ^{ai -a*) = 0,at,a* e [O,C\ Enačba (5.51) dobi obliko: 144 NAPOVEDOVANJE ČASOVNIH VRST w = ^j(ai -a*)Xj in /(x) = ^(ai -a*)x]x + b Enačba (5.55) i=\ i=\ Enačbo (5.53) imenujejo ekspanzija podpornih vektorjev. w dobimo kot linearne kombinacije vhodov x;.. Kompleksnost funkcije /(x) je odvisna le od števila podpornih vektorjev in ne od dimenzionalnosti vhodnega prostora [169], [170]. V sedlu, rešitvi, ko Lagrangeova funkcija doseže svoj minimum, Karush-Kuhn-Tuckerjev izrek145 (KKT) [18], [172] trdi, da produkt med dualnimi spremenljivkami in omejitvami »izgine« (enačba (5.49), Lagrangova funkcija): at(s + št -yi+wTxi+b) = 0 a*{£ + š* +yi-v 0 in £., = 0 za a. < C £ - yi + wTxt + b < Oza ai > 0 Enačba (5.58) Te ugotovitve lahko uporabimo pri računanju parametra b , ki ga ocenimo: max{- £ + yi - wrx;. | ai < Calia* > 0/< b < min{- £ + yi -wTxi | ai > Oalia* < c\ Obstajajo tudi drugi načini za izračun parametra b, ki so v glavnem posledica optimizacij skega procesa [169]. Število podpornih vektorjev lahko ocenimo iz ekspanzije (enačba (5.53)). Iz enačbe (5.54) je razvidno, da so edino za |/(x.)-^.| > £ Lagrangeovi multiplikatorji različni od 0. Za učne primere v £-cevi at,a* =0. Sicer, za |/(x/)-_y/| < £ v enačbi (5.54) drugi faktor ni 0 in morata biti ai,ai =0 zato da bodo zadovoljeni KKT pogoji. Če so w izražene z vhodnimi vektorji x;, potem ne potrebujemo vseh vhodnih vektorjev za izražanje parametrov modela. Tiste X;, ki nastopajo z obstoječimi parametri so podporni vektorji. 145 Po Karush-Kuhn-Tuckerjevem izreku so odvodi Lagrangove funkcije po X v sedlu 0. 145 Jedrne metode in metoda podpornih vektorjev za regresijo 5.8.3 Jedra in nelinearnost SV modeli, ki jih kažeta Slika 5.23, Slika 5.24 so linearni. SV algoritem lahko naredimo nelinearen s predprocesiranjem (j): % —> F ali preslikavo učnih vektorjev x; e SJ{ v nek visokodimenzionalen atributni prostor F, kjer bomo lahko namesto nelinearne izvedli linearno regresijo (Slika 5.25). Odpira se vprašanje: ali je to vedno možno? V enačbi (5.52) pri formulaciji dualnega problema nastopa pri določanju parametrov modela samo skalami produkt med X.. Zadošča, če poznamo A;(x,z) := 0(x)'^(z). Pri tem ie k jedrna funkcija. Optimizacijski problem za nelinearnerno regresijo146 se glasi: maksimiziraj 1 / " t Z(ai - a*i Xaj - a*j )*fc' xj) l l Enačba (5.59) i-] i=l glede na omejite V (aj -a*) = 0,at,a* e [0,C\ 1 l w = ^(or,- -a*)^(xj) in /(x) = ^(a,- -a*)£(x;,x) + 6 Enačba (5.60) i=i /=i 146 Dualni problem včasih zapišejo v matrično obliko: maksimiziraj --(a-a)rQ(a-a ) pri čemer je Q. = k(x., X ) glede na omejive ^ (a. - a *) = 0, cr, a * e [0, C\ 146 NAPOVEDOVANJE ČASOVNIH VRST X M k{x,z) = k3((x),(z)) za poljubno : Md -> 3P k(x,z) = xrAz za poljubno semidefinitno matriko A Znani primeri in protiprimeri jeder so: Linearno jedro (skalami produkt) A:(x,z) := X z Polinomsko jedro148 k(x,z) := (xTz + l)p 147 Mercerjev izrek trdi, da je jedro pozitivna semidefinitna simetrična funkcija. Definicije in podroben opis jeder so v Cristianini in Shawe-Taylor [39] ter Scholkopf in Smola [163]. 148 Primer: Imamo p=2, vektorja v vhodnem prostoru sta x = (x,,JC2)in z = (z,,z2). K(\,z) = (x,z, +x2z2 +1)2 =(xl%x2\v2x1x2,V2x1,V2x2,l)(zl\z22,V2zlz2,v2z1,V2z2,l)r. Enako kot če bi 147 Jedrne metode in metoda podpornih vektorjev za regresijo Gaussovo jedro k(x,z) := exp lx ~ z ~2c^ ki je enakovredno izrazu k(x, z) := exp[- A|x - zjj (radialno jedro ali radialna bazna funkcija, RBF) • Sigmoidna funkcija k(x,z) := th(kx Z + 0) ni jedro, ker ne zadošča Mercerjevemu pogoju. Obstaja veliko različnih tipov jeder: difuzijsko, Fischerjevo, jedro za nize, posplošena jedra. V praksi se za modeliranje časovnih vrst največkrat uporabljata polinomsko in radialno jedro. 5.8.4 v -SVR ali v -metoda podpornih vektorji za regresijo Smola in ostali [168] so dokazali, da je pri SVR optimalna izbira parametra s linearno odvisna od nivoja šuma v podatkih. Scholkopf in ostali [161], [162] so predlagali uporabo parametra V, ki neposredno kontrolira število podpornih vektorjev. £ sedaj postane spremenljivka optimizacije. Prvotni optimizacijski problem dobi obliko [30]: \ 2 ( 1 ' * ^ minimiziraj — |w| + C V£ + - ^ (£. + £*) glede na omejitve: y, -wT(xl)-b<£ + ši wT(xi) + b-yi <£ + £ Enačba (5.61) Dualni problem pa, z malimi modifikacijami, postane [24], [30], [90]: maksimiziraj 1 ' 2 /,,/=1 -*£(«. + ar*)+ £>>,• (a,.-«*) /=1 1 1 glede na omejitve ^ (a. - a *) = 0, ^ (<2, + a *) = C/ v,<2,, a * e[0,C] Enačba (5.62) /=1 i=l oba vektorja preslikali s preslikavo O :SJ?2 —> sJ{7,0(x) = (x2 ,x22,-j2xlx2,- Enačba (5.64) je enakovredna enačbi (5.7) na strani 91, ki smo jo definirali kot regularizacijski problem pri opisu modeliranja s črnimi škatlami. Za V-SVR metodo ima obliko 2 RregL/j - RempL/J "•—||w| + V£ [172]. Pri metodi podpornih vektorjev je standardna izbira za cenovno funkcijo S -intenzivna funkcija izgube: c(x,y,f(x)) = \y-f(x)\£ Enačba (5.65) Dokazali so ([5], [163]), da je minimiziranje funkcionala, ki ga opisuje enačba (5.64), enakovredno prvotnemu optimizacij skemu problemu pri SVR problemu, ki ga opisuje enačba 149 Jedrne metode in metoda podpornih vektorjev za regresijo (5.49) na strani 143 (C = /(T,\r\)- ^z tega je razvidno, da s SVR hkrati rešujemo regularizacijski problem. Če bi namesto s -intenzivne funkcije izgube uporabljali kvadratno funkcijo izgube c(x, y,f(x)) = (y — /(x)) , bi to pripeljalo do problema, ki se ga rešuje z računanjem inverzne matrike, in ne s kvadratnim programiranjem, kot v primeru SVM. Obstaja več različnih cenovnih funkcij, ki jih lahko uporabljamo kot osnove pri optimizaciji poleg £-intenzivne(c(£) = £| ): Laplaceova (c(£) = K|), Gaussova (c(£) = — 9? preslikava, ki jo izvaja model za napovedovanje črna škatla. Z negotovostjo zaradi samega modela napovedovanja smo se ukvarjali v poglavju NAPOVEDOVANJE ČASOVNIH VRST, v podpoglavju Negotovost napovedovanja in predikcijski intervali na strani 99. Z meroslovnega stališča pa samo učenje regresijskega modela poteka ob prisotnosti različnih tipov negotovosti, ki jih prikazuje Tabela 6.3. Pri vrednotenju negotovosti, ki nastopajo pri izgradnji modela za napovedovanje, lahko uporabimo statistični ISO model [94], ki vrednoti in kombinira posledice negotovosti različnih virov v obliki standardnih deviacij. Negotovost izhoda modela za napovedovanje lahko opišemo s kombiniranjem negotovosti [94]: Ureg = °fo + U MODEL + U NE _ MODEL EnaČba(6.10) Enačba (6.10) zajema naslednje negotovosti: • Negotovosti vhodnih podatkov (5. Na podatkih smo dobili naslednje rezultate, ki jih kaže Tabela 7.1. j2 (izračunana vrednost) 12,000 <2 (kritična vrednost) 7,815 DF 3 P 0,007 a 0,05 1 2 Friedmanov Q porazdeljen kot % Tabela 7.1: Testiranje hipoteze, da so vsi prediktorji enako uspešni za D < 5 . Hipotezo zavrnemo. Potem smo izvedli še test Bonferroni-Dunn, da bi primerjali vse modele med seboj. Kritična vrednost diference za podatke, kjer je D < 5, je 9,63 . Dobili smo tabelo rankov modelov: 180 POSKUSI IN REZULTATI Vsota rankov Skupini Lok. utež. reg. 4 A Lin. reg. 8 A B Pace reg. 12 A B Reg. drevo 16 B Tabela 7.2: Tabela skupin uspešnosti. Rezultate primerjav med metodami podaja Tabela 7.3. Glede na ta test obstaja signifikantna razlika med regresijskim drevesom in lokalno uteženo regresijo. Zaradi rezultatov prvega testa in slabega razlikovanja med algoritmi smo Fiedmanov test ponovili na rezultatih poskusov na vseh dvanajstih domenah (Tabela D.2 na strani 230). Lin. reg. Pace reg. Lok. utež. reg. Reg. drevo Lin. reg. Pace reg. 4,000 Lok. utež. reg. 4,000 8,000 Reg. drevo 8,000 4,000 12,000 0,000 Kritična vrednost diference 9,634 Lin. reg. Pace reg. Lok. utež. reg. Reg. drevo Lin. reg. Pace reg. NS Lok. utež. reg. NS NS Reg. Drevo NS NS X Pripomba: NS — nesignifikantna diference, X = signifikantna diferenca Tabela 7.3: Tabeli primerjav med regresijskimi modeli. Friedmanov test ponovno ni potrdil signifikantnost razlike med prediktorji (izračunana vrednost FF = -3,94 , D = \2,k = 4, kritična vrednost FF(3,33) = 2,896). Iz teh razlogov imamo prediktorje, ki smo jih preizkušali v tem podpoglavju, za enako uspešne. 7.3 Poskusi s klasičnimi statističnimi metodami Pri izgradnji klasičnih statističnih modelov (eksponentno glajenje in ARIMA modeli) smo, v korist narave modelov, odstopili od scenarija modeliranja, ki ga običajno uporabljamo v disertaciji. Se vedno smo modelirali v okviru paradigme modeliranja s črnimi škatlami, kot smo opisali v podpoglavju Scenarij modeliranja s črnimi škatlami na strani 85, razlika je bila le v pripravi učne množice. Pri ostalih poskusih smo uporabljali vhodne vektorje časovno vloženega sistema (dolžina se spreminja med I in 7), kar je bil eden izmed parametrov modeliranja s črnimi škadami.. Pri modeliranju s klasičnimi statističnimi metodami smo uporabljali le osnovno 181 Poskusi s klasičnimi statističnimi metodami časovno vrsto172. Modelirali smo jo v skladu z osnovnimi lastnostmi vrste, kot so prisotnost trenda, cikličnih (sezonskih) vplivov ali lastnosti, ki jih vidimo iz korelograma ali parcialne avto korekcijske funkcije. Za modeliranje s klasičnimi statističnimi metodami smo uporabljali paketa Statistica [188] in SPSS [228]. Statistica ponuja več opcij pri izvajanju poskusov. Zato smo končne poskuse izvedli s Statistico. Slika 7.4 kaže primerjavo MSE napak obeh metod na testnih podatkih. Opazna je prednost ARIME pred eksponentnim glajenjem, ki pri majhnem vzorcu (število domen D = 4) ni statistično značilna. Poskuse z metodami ARIMA smo izvedli na vseh dvanajstih domenah. V poglavju Izbiranje najboljšega modela črne škatle na strani 195 primerjamo uspešnost najbolj uspešnih modelov iz vsake skupine. Slika 7.4: Primerjava MSE napak (z-os), ki jo naredijo klasični statistični modeli (x-os) na testnih podatkih domen časovnih vrst Ref A, ZEN6, LorZ in FBM1 (y-os). 7.3.1 Eksponentno glajenje Pri modeliranju z metodo eksponentnega glajenja smo spreminjali naslednje parametre: • Prisotnost trenda (da/ne): - Da: linearen, eksponenten, prekucnjen. • Prisotnost cikličnih vplivov (da/ne): - Da: aditivni, multiplikativni. 172 Klasične statistične metode sodijo med univariantne metode. 182 POSKUSI IN REZULTATI - Dolžino cikličnih vplivov (zaostanek) smo spreminjali med 4 in 12. Način modeliranja z metodo eksponentnega glajenjenja smo opisali v podpoglavju Eksponentno glajenje in Holt-Wintersova metoda na strani 112. • Ref A: Najboljši rezultat (MSE= 0,00085) smo dobili z modelom, ki vsebuje linearni trend in multiplikativne ciklične spremembe z zaostankom 4173. • ZEN6: Najboljši rezultat (MSE= 0,00118336) smo dobili, z modelom, ki vsebuje prekucnjeni trend in je brez cikličnih variacij, kljub pričakovanju, da bodo ciklične variacije pripomogle k modeliranju (stran 113). • • LorZ: Napako MSE=0,000100 smo dobili pri modelu z linearnim trendom in aditivnimi cikličnimi vplivi z zaostankom 12. FBM1: Najmanjšo MSE napako (MSE= 0,00207) smo dobili z modelom s prekucnjenim trendom in multiplikativnimi cikličnimi vplivi dolžine 12. 7.3.2 Box-Jenkinsovi ARIMA modeli Pri modeliranju z ARIMA(p,d,q) modeli smo parametre p,d,q spreminjali v odvisnosti od lastnosti korelogramov in parcialne avto korekcij ske funkcije. Postopek določanja zgornje meje parametrov p,d,q smo opisali v podpoglavju Box-Jenkinsova a]i ARIMA metoda na strani 114. • Ref A: Parametre modela ARIMA(p,d,q) smo spreminjali na naslednji način: ♦ vrste nismo diferencirali (d = 0), saj ne vsebuje trenda; ♦ avtoregresijski parameter p smo spreminjali med 1 in 6; ♦ parameter drsečega povprečja q dobi vrednosti 0,1. Najboljši rezultat (MSE= 0,000555) smo dobili z modelom ARIMA(6,0,0), kar potrjuje domnevo, da gre za proces z avtoregresijsko naravo. • ZEN6: Parametre modela ARIMA(p,d,q) smo spreminjali na naslednji način: 173 Pri poskusih s programom XLStat smo dobili celo MSE=0,0003 pri uporabi eksponentnega glajenja z drsečim povprečjem, ob upoštevanju predzadnjih dveh vrednosti. 183 Poskusi z nevronskimi mrežami ♦ vrsto smo zaradi trenda diferencirali {d = 1); ♦ avto regresi j s ki parameter p smo nastavili na 0; ♦ parameter drsečega povprečja q smo spreminjali med 0 in 7. Najboljši rezultat (MSE= 0,001040) smo dobili z modelom ARIMA(0,lJ) • • LorZ: Parametre modela ARIMA(p,d,q) smo spreminjali na naslednji način: ♦ vrste nismo diferencirali (d = 0), saj ne vsebuje trenda; ♦ avtoregresijski parameter p smo spreminjali med 1 in 6; ♦ parameter drsečega povprečja q smo spreminjali med 0 in 7. Najboljši rezultat po kriteriju MSE (MSE= 4,62122E-07) smo dobili z modelom ARIMA(6,0,0). • FBM1: Parametre modela ARIMA(p.d.g) smo spreminjali na naslednji način: ♦ vrste nismo diferencirali (d = 0), saj ne vsebuje trenda; ♦ avtoregresijski parameter p smo spreminjali med 1 in 6; ♦ parameter drsečega povprečja q smo spreminjali med 0 in 7. Najboljši rezultat (MSE=0,00133) smo dobili z modelom ARIMA(6,0,0), kar potrjuje avtoregresijsko naravo procesa, ki jo FBM po svoji definiciji predstavlja. 7.4 Poskusi z nevronskimi mrežami Pri poskusih z nevronskimi mrežami smo uporabljali lastno programsko opremo, ki je zbirka nevronskih mrež ali programov, napisanih v programskem jeziku Delphi. Skoraj vse nevronske mreže so izdelane po opisu, ki ga je podal Haykin [83]. Izjema je GMDH Le-ta je izdelana po opisu, ki sta ga podala Pham in Lin [143]. Za validiranje pravilnosti delovanja algoritmov, ki smo jih realizirali v programih, smo uporabili še dodatno programsko opremo (na primer večnivojski perceptron kot model smo primerjali z enako strukturiranim modelom v programskem paketu WEKA[218]). S kriterijem MSE smo preliminarno primerjali uspešnost nevronskih mrež: večnivojski perceptron (VP), FIR-VP, GMDH in rekurentno mrežo na štirih predstavnikih domen. Slika 7.5 184 POSKUSI IN REZULTATI kaže MSE napako, ki jih naredijo izbrane nevronske mreže pri napovedovanju na testnih množicah predstavnikov. Pozneje bomo v podpoglavju Primerjava uspešnosti nevronskih mrež na strani 191 izvedli medsebojno primerjavo različnih tipov mrež na vseh dvanajstih domenah. Posebno pozornost posvečamo študiju učenja navadnega večnivojskega perceptrona, ker se je izkazal kot zelo uspešen model in je hkrati najbolj tipičen predstavnik modelov črnih škatel. MSE FIR-VP FBM1 LorZ ZEN6 domene RcfA GMDH Rek. NM nevronske mreže Slika 7.5: Primerjava MSE napak (z-os), ki jo naredijo nevronske mreže (x-os) na testnih podatkih domen časovnih vrst Ref A, ZEN6, LorZ in FBM1 (y-os) 7.4.1 Večnivojski perceptron Večnivojski perceptron smo učili z vzvratnim razširjanjem napake (stran 124). Uporabljali smo dvonivojski perceptron z enim samim izhodnim nevronom (Slika 7.6) in sigmoidno aktivacijsko funkcijo. Spreminjali smo naslednje parametre: • Število nevronov na vhodnem nivoju = dolžina vhodnega vektorja med 2 in 7; • Število nevronov na skritem nivoju (2..število vhodnih-1); • Parametra vztrajnost a in hitrost učenja tj. Vrednosti parametrov a in tj med poskusi nismo spreminjali. Zaradi scenarija modeliranja s črnimi škatlami nismo hoteli posegati v strukturo modela. S tem se je razširil prostor možnih kandidatov za najboljši model. Nasploh imamo pri modelih, ki imajo veliko parametrov, takšne pa so nevronske mreže, zelo veliko število kandidatov za izbiro najboljšega 185 Poskusi z nevronskimi mrežami prediktorja. Med vsemi »dobrimi« modeli smo s fiksno podanimi vhodnimi parametri izbirali s časovno zahtevnim iskanjem v širino . Slika 7.6: Večnivojski perceptron v programskem paketu WEKA. Testirali smo vpliv začetnih nastavitev parametrov a in 77 na velikost MSE napake na učni množici, kot jo za časovno vrsto LorZ kaže Slika 7.7. Učili smo VP z dvema vhodnima nevronoma, dvema nevronoma na skritem nivoju in enim izhodnim nevronom. Poskuse z izbranima vrednosti za a in rj smo trikrat ponavljali zato, da bi »omilili« vpliv začetnih nastavitev uteži, ki ravno tako vplivajo na učenje VP. Ugotovili smo, da je pri majhnih vrednostih vztrajnosti a < 0,1 povprečna vrednost MSE napak treh neodvisnih poskusov naključna in ni koncentrirana okoli manjših vrednosti a, kot smo prvotno pričakovali. Slika 7.7: Odvisnost MSE napake na učni množici časovne vrste LorZ od začetnih nastavitev parametrov a e [0,01..0,1],77 e [0,8,..,0,9] . MSE napake različnih velikosti so predstavljene z različno pobarvanimi področji. Vrednosti napak predstavljajo povprečja napak treh neodvisnih poskusov. 174 V komercialnih programskih paketih problem učenja nevronskih mrež rešujejo z regularizacijskimi ali optimizacijskimi postopki. 186 POSKUSI IN REZULTATI Slika 7.8: Odvisnost MSE napake na učni množici časovne vrste Ref A od začetnih nastavitev parametrov a in 77. MSE napake različnih velikosti so predstavljene z različno pobarvanimi področji. Vrednosti napak predstavljajo povprečja napak dveh neodvisnih poskusov. a) Grobo raziskovanje MSE ploskve za a e [0,1..0,9], 77 G [0,5..0,9]. b) Podrobno (s korakom 0,01) raziskovanje za a e [0,01 ..0,2],77 e [0,7..0,9]. c) Podrobno raziskovanje a G [0,01..0,2],77 e [0,01..0,2j. Zanimiva so opažanja pri poskusih s časovno vrsto napetosti Ref A (Slika 7.8). VP ima tri vhodne nevrone, dva nevrona na skritem nivoju in enega izhodnega. Pri opazovanju MSE odvisnosti od a e [0,1 ..0,9j,/7 e [0,5..0,9j smo odkrili »nevaren greben« večjih napak za majhne vrednosti parametra r/ in velike vrednosti parametra a (Slika 7.8 a)). Raziskali smo prostor a e [0,01..0,2],77 e [0,7..0,9] (Slika 7.8 b)) in ugotovili, da dobimo manjšo MSE za ae[0,01..0,13],7e[0,7..0,73]. Pri raziskovanju prostora za a e [0,01..0,2],77 e [0,01.-0,2] (Slika 7.8 c)) pa najbolj ugodne rezultate dobimo za a, t] « 0,05 . Če VP učimo zelo dolgo (na primer 10.000 razdobij) in se učenje ne ustavi zaradi naraščanja napake na učni množici, potem se običajno mreža preveč prilagodi učni množici. VP smo učili tudi z uporabo nastavitvene množice (angl. validation sef), ki je del učne množice in jo ne uporabljamo za spreminjanje uteži, ampak le za testiranje napake. • Ref A: Najboljši rezultat (MSE=0,00046) smo dobili z VP, ki ima 3 vhodne nevrone, 2 nevrona na skritem nivoju ter a = 0,06;r/ = 0,045 (Slika 7.8 c)). 187 Poskusi z nevronskimi mrežami • ZEN6: Najboljši rezultat (MSE=0,000103) smo dobili z VP s sedmimi vhodnimi nevroni, štirimi nevroni na skritem nivoju ter za a,r/ ~ 0,03 . • LorZ: Napako MSE=l,6E-07 smo dobili z VP s sedmimi vhodnimi nevroni, štirimi nevroni na skritem nivoju, ter zaa = 0,03,77 = 0>02 . • FBM1: Najmanjšo MSE napako (MSE=0,0014) smo dobili z VP, ki ima 5 vhodov in 3 skrite nevrone ter za a,rj « 0,03 . 7.4.2 FIR-večnivojski perceptron Nevronske mreže FIR-VP (Slika 5.12 na strani 128, Slika 5.13 na strani 128) smo učili s časovnim vzvratnim razširjanjem napake (opisanim na strani 130). Pri tem smo spreminjali naslednje parametre: • Število nevronov na vhodnem nivoju = dolžina vhodnega vektorja med 2 in 7; • Število nevronov na skritem nivoju (med 2 in 6 oziroma število_vhodov~X)\ • Parameter hitrosti učenja Tj; • Število procesnih elementov na sinapsah ali dolžine FIR filtrov (2..4). Najboljše rezultate za vse domene smo dobili za 77 « 0,03 ter za dolžino 2 vseh FIR filtrov na vseh sinapsah. • Ref A: Najboljši rezultat (MSE= 0,00069) smo dobili s FIR-VP, ki ima 7 vhodnih nevronov, 3 nevrone na skritem nivoju. • ZEN6: Najboljši rezultat po kriteriju MSE (MSE= 0,00113) smo dobili z FIR-VP s štirimi vhodnimi nevroni, dvema nevronoma na skritem nivoju. • LorZ: Napako MSE=4,4E-06 smo dobili z FIR-VP s sedmimi vhodnimi nevroni, štirimi nevroni na skritem nivoju. • FBM1: Manjšo MSE napako (MSE= 0,00159) smo dobili z FIR-VP, ki ima 6 vhodov in 3 skrite nevrone. 188 POSKUSI IN REZULTATI 7.4.3 GMDH skupinska metoda za obravnavanje podatkov Za uporabo GMDH mrež smo se odločili, ker realizirajo princip učenja, ki se razlikuje od vzvratnega razširjanja napake. Učni algoritem je Widrow-Hoffovo učno pravilo. GMDH mreže sestavljajo N-Adaline elementi (Slika 5.15 na strani 131). Učili smo jih na način, ki smo ga opisali na strani 130. Določene dele učne množice smo uporabili za spreminjanje parametrov modela, druge pa za rezanje nepotrebnih elementov (Slika 5.17). Pri poskusih z GMDH mrežo smo spreminjali naslednje parametre: • Število nevronov na vhodnem nivoju = dolžina vhodnega vektorja med 2 in 7; • Hitrost učenja rj; • Prag (običajno ima vrednost 1,1). Slika 7.9: Naučeni GMDH mreži a) učenje brez kontrolnih parametrov s tremi vhodnimi nevroni; b) učenje s kontrolnim parametrom in tremi vhodnimi nevroni. GMDH mreže naredijo večje MSE napake v primerjavi z ostalimi nevronskimi mrežami. To je bilo tudi pričakovano, saj mreže z m nivoji realizirajo polinomske preslikave m-te. stopnje. Razmerje uspešnosti napovedovanja med domenami se ponovno ohranja. • Ref A: Najboljši MSE (MSE = 0,0016) smo dobili z GMDH mrežo z dvema vhodnima nevronoma. • ZEN6: Najboljši MSE (MSE = 0,00113) smo ponovno dobili z GMDH mrežo z dvema vhodnima nevronoma. LorZ: Napako MSE = 0,0002 smo dobili z GMDH mrežo, ki ima dva vhoda. 189 Poskusi z nevronskimi mrežami • FBM1: Najmanjšo MSE napako (MSE= 0,006) smo dobili z GMDH mrežo, ki ima dva vhoda175. 7.4.4 Rekurentna mreža Rekurentne nevronske mreže predstavljajo popularno ad hoc orodje za modeliranje s scenarijem črnih škatel. Pri poskusih z rekurentnimi nevronskimi mrežami smo uporabljali model, ki ga kaže Slika 5.20 na strani 136 z algoritmom RTRL, ki smo ga povzeli po [83] na strani 137. Spreminjali smo naslednje parametre: • Število nevronov na vhodnem nivoju = dolžina vhodnega vektorja (med 2 in 7); • Število nevronov v procesnem nivoju ali št. povratnih povezav (med 2 in 4); • Parameter hitrosti učenja r/. Izkušnje z rekurentnimi mrežami so pokazale, da se hitro »naučijo«, toda obstaja velika nevarnost doseganja lokalnih minimumov [78], [83]. Uteži mreže pri poskusih smo nastavili na majhne začetne vrednosti, saj je takrat mreža zmožna prediktivnega napovedovanja tudi za poljubne časovne vrste [201]. Pri poskusih z našimi domenami smo dobili naslednje rezultate: • Ref A: Najboljši MSE (MSE = 0,00057) smo dobili z rekurentno mrežo s petimi vhodnimi nevroni in dvema povratnima povezavama. • ZEN6: Najboljši MSE (MSE = 0,0013) smo dobili z mrežo s sedmimi vhodnimi nevroni in dvema povratnima povezavama. • LorZ: Napako MSE = 2,8E-05 smo dobili z rekurentno mrežo, ki ima sedem vhodov in tri povratne povezave. • FBM1: MSE napako 0,0017 smo dobili z mrežo, ki ima tri vhode in dva povratna nevrona. 175 Pri domeni Ref D in Ref D s kontrolnim parametrom je najboljši MSE dosegla na primer mreža s tremi vhodi. Domnevamo, da je zgolj naključje, da so na vseh štirih domenah »zmagale« GMDH mreže z dvema vhodoma. 190 POSKUSI IN REZULTATI MSE domene Slika 7.10: Primerjava MSE napak (z-os) nevronskih mrež (x-os) na dvanajstih domenah (y-os). 7.4.5 Primerjava uspešnosti nevronskih mrež Med nevronskimi mrežami bi radi izbrali tisti tip (metodo), ki najbolj uspešno napoveduje vrednosti. Poskuse smo izvedli na vseh dvanajstih domenah (Slika 7.10 in Tabela D.3 na strani 232). Navaden večnivojski perceptron je največkrat dosegel najmanjši MSE. Opažamo, da je MSE napaka GMDH mreže povsod večja, da pa je za nevronske mreže enako kot za ostale modele časovna vrsta ZEN3 slabo napovedljiva. Izvedli smo Friedmanov neparametričen test za primerjavo k-parov prediktorjev. Pri značilnosti 0,05 je test pokazal, da se prediktorji med seboj signifikantno razlikujejo. Z drugimi besedami smo zavrgli ničelno hipotezo, da ni razlike med prediktorji. Potem smo izvedli primerjavo (Friedmanov test z Bonferroni korekcijo) tipov mrež med seboj. Test je razvrstil nevronske mreže v skupine, in sicer kot kaže spodnja tabela: Vsota rankov Sku :>ini VP 14 A FIR-VP 22 A B Rek. NM 27 A B GMDH 37 B Tabela 7.4: Tabela skupin uspešnosti nevronskih mrež. 191 Poskusi z metodo podpornih vektorjev za regresijo VP FIR-VP GMDH Rek. NM VP FIR-VP 8,000 GMDH 23,000 15,000 Rek. NM 13,000 5,000 10,000 0,000 Kritima vrednost diference 15,232 VP FIR-VP GMDH Rek. NM VP FIR-VP NS GMDH X NS Rek. NM NS NS NS Pripomba: NS = nesignifikantna diferenca, X = signifikantna diferenca Tabela 7.5: Tabeli primerjav med mrežami. Test je potrdil, da se le GMDH po svoji uspešnosti signifikantno razlikuje od VP. Med nevronskimi mrežami smo izbrali VP kot najbolj uspešno mrežo, ker ima najmanjšo vsoto rankov. 7.5 Poskusi z metodo podpornih vektorjev za regresijo Posebno pozornost smo posvetili poskusom z metodo podpornih vektorjev za regresijo (SVR). Le-ta realizira princip minimizacije strukturnega tveganja, ki je izraženo v negotovosti modela ob izgradnji, kot smo opisali v podpoglavju Jedrne metode in metoda podpornih vektorjev za regresijo na strani 138. Učenje realizira kot optimizacijski problem, hkrati pa rešuje regularizacijski problem (stran 149). Ima številne lepe lastnosti, kot je dobra teoretična podlaga, ki se je obenem izkazala za uspešno v praksi, fleksibilnost, robustnost itn. Iz teh razlogov smo pričakovali, da bodo modeli SVR najbolj uspešni. 7.5.1 Izbira paketa (numerične metode) Pri poskusih z metodo SVR smo se najprej odločali za paket, implicitno pa za način učenje SVR modela. Preizkusili smo tri realizacije SVR paradigme (kot smo opisali na strani 150): Joakimsovo [96], [205] z Riipingovim paketom MySVM [154]; Plattovo [144] ali Smola in Scholkopfovo [169] s funkcijo SMOreg v paketu WEKA [218], [225] in Chang-Linovo, ki je modificirana SMO metoda [55], s paketom LIBSVM [24]. Poskuse smo izvedli z že vnaprej določenimi parametri C = 10, £ = 0,01. Slika 7.11 kaže, da so rezultati paketov podobni. Odločili smo se, da bomo za ostale poskuse uporabljali paket LIBSVM zaradi preglednosti njegove programske kode, ker se je v praksi večkrat izkazal kot zelo uspešen (več zmag na tekmovanjih za napovedovanje realnih časovnih vrst EUNITE [29], IJCNN [24]) in zaradi možnosti raziskovanja prostora parametrov. 192 POSKUSI IN REZULTATI MSE MYSVM SMOreg(WEKA) UBSVM paketi Slika 7.11: Primerjava MSE napak (z-os), c-SVR modelov z linearnim jedrom, ki jih zgradijo različni paketi (y-os) na štirih domenah (x-os). Preizkušali smo dva SVR algoritma: £-SVR in v-SVR. Preden smo se odločili za tip algoritma, smo izbrali tip jedra, ki vhodni prostor preslika v visokodimenzionalni atributni prostor in s tem omogoči uporabo SVR algoritmov tudi za nelinearne probleme, kot smo opisali na strani 146. 7.5.2 Jedra 0,0016 0,0014 0,0012 0,001 MSE 0,0008 0,0006 0,0004 0,0002 0 jedra FBM1 Slika 7.12: Primerjava MSE napak (z-os) 8-SVR modelov z linearnim jedrom in RBF jedrom (y-os) na štirih domenah (x-os). Preizkušali smo linearno, RBF in polinomsko jedro. Slika 7.12 prikazuje MSE performanco linearnega in RBF jedra. Na vseh štirih domenah smo spreminjali vhodno dimenzijo med 2 in 7 ter pri tem uporabljali modele s kapacitivnostjo C = 10. Boljše rezultate za časovne vrste napetosti (Ref A in ZEN6) smo dobili z uporabo linearnega jedra, medtem ko je RBF jedro omogočilo najboljše predikcije le na primeru domene LorZ. V nadaljnjih poskusih uporabljamo samo linearno jedro. 193 Poskusi z metodo podpornih vektorjev za regresijo 7.5.3 Izbira tipa SVR-ja in njegovih parametrov Izbirali smo med modeli £ -SVR in v -SVR algoritmov z uporabo linearnih jeder. Primerjali smo performanco obeh SVR algoritmov. Pri poskusih z £ -SVR smo spreminjali: dolžino vhodnega vektorja (2..7); parameter £ (0,001..0,1) in parameter C (10..1000). Pri poskusih z v-SVR, pa smo spreminjali: dolžino vhodnega vektorja (2..7); parameter v (0,001..0,2). Primerjava performance (Slika 7.13) kaže izenačeno uspešnost algoritmov. MSE e-SVR n-SVR tip SVR Slika 7.13: Primerjava MSE napak (z-os) £ -SVR in V -SVR modelov z linearnim jedrom in RBF jedrom (y-os) na štirih domenah (x-os). Raziskovali smo vpliv izbire parametrov £ in C na MSE napako. Smola in ostali [168] so dokazali, da je optimalna izbira parametra £ linearno odvisna od nivoja šuma v podatkih. To smo empirično potrdili na izbranih časovnih vrstah. Ugotovili smo, da spreminjanje C parametra (500.. 1000) bistveno ne vpliva na velikost MSE: • Najboljši model za Ref A smo dobili s štirimi vhodi in £ = 0,02, C = 30 (Slika 7.14). • Za ZEN6 je boljše rezultate dal v -SVR ali £ -SVR s petimi vhodi £ = 0,03, C = 30. • Za časovno vrsto LorZ smo dobili najboljši model z £ — 0,001, C — 30 (Slika 7.15) in sedmimi vhodi. Za časovno vrsto FBM1 smo dobili najboljši model pri šestih in sedmih vhodih z £• = 0,02, C = 30. 194 POSKUSI IN REZULTATI Slika 7.14: Odvisnost MSE (z-os) na testnih podatkih časovne vrste Ref A (dolžina vhoda 4) od parametrov S (x-os) in C (y-os). 1.00E-05 9,00E-06 8,00E-06 7.00E-06 w 6.00E-06 J2 5,00E-06 4.00E-06 3,00E-06 2,00E-06 1.00E-06 0.00E+00 0,002 0,004 0,006 0,008 epsflon 0,01 0,012 Slika 7.15: Odvisnost MSE (y-os) na testnih podatkih časovne vrste LorZ (dolžina vhoda 7) od parametra S (x-os). 7.6 Izbiranje najboljšega modela črne škatle Da bi izbrali metodo, ki naredi najmanjšo MSE napako, smo primerjali predstavnike predstavljenih skupin. Med metodami za regresijo smo izbrali lokalno uteženo regresijo, med klasičnimi statističnimi metodami ARIMO, med nevronskimi mrežami navadni večnivojski perceptron ter med metodami podpornih vektorjev f-SVR. Slika 7.16 in Tabela 7.6 kažeta, kako so se vsi izbrani prediktorji odrezali na vseh dvanajstih domenah. 195 Izbiranje najboljšega modela črne škatle 0,012 MSE 0,01 prediktorji domene Slika 7.16: MSE performance (z-os) izbranih prediktorjev (y-os) na testnih podatkih domen (x-os). Lokalno utež. reg. AR1MA VP 8-SVR AT 0,003003 0,00291891 0,002905 0,003004 Ref A 0,000581 0,0005552 0,000462 0,000553 Ref A kontr. 0,000576 0,0006710 0,000548 0,000558 Ref D 0,002725 0,0026206 0,002746 0,002745 Ref D kontr. 0,002714 0,0026064 0,002767 0,002675 ZEN1 0,00937 0,0091755 0,01012 0,009292 ZEN3 0,019881 0,0172243 0,019488 0,018131 ZEN 6 0,001136 0,0010472 0,00103 0,001159 skupina 4 ZEN 0,000515 0,0004725 0,000557 0,000808 LorZ 1E-14 0,0000005 l,6E-07 4,42E-07 FBM1 0,00134 0,0013328 0,001444 0,00133 FBM2 0,007327 0,00679133 0,006675 0,006822 performance izl oranih pred ktoriev (stolpe i) na testnil i podatkih c krepko pisavo so napisane MSE napake najuspešnejših modelov. Ponovno smo izvedli Friedmenov test z Bonferronijevo korekcijo, ki ni pokazal signifikantne razlike v uspešnosti napovedovanja prediktorjev. Z drugimi besedami, vse izbrane prediktorje lahko v kontekstu kratkoročnega napovedovanje obravnavamo kot enako uspešne. 196 POSKUSI IN REZULTATI Slika 7.17: MSE ocene izbranih prediktorjev na testnih podatkih Ref A in njihovi intervali zaupanja. Ogledali si bomo kakovost ocene MSE primeru testnih podatkov Ref A. Ocenili smo zanesljivost ocene MSE, ki pripadajo izbranim prediktorjem, kot smo opisali na strani 96. Pri 68% zaupanju dobimo kakovosti ocen, kot jih kažeta MSE vrstica v Tabela 7.7 in Slika 7.17. Lokal. utež. reg. ARIMA VP e-SVR MSE± SE(MSE) 0,000580± 8,63E-05 0,000555± 9,03E-05 0,000462± 7,32E-05 0,000553± 9J4E-05 MAE 0,0159 0,0156 0,0148 0,0153 K 0,951 0,946 0,958 0,950 Tabela 7.7: Ocene prediktorjev na testnih podatkih Ref A. Poleg srednje kvadratne napake (MSE) smo za primerjavo med prediktorji uporabili še srednjo absolutno napako (MAE) in korekcijski koeficient (K) (Tabela 7.7). Tudi meri MAE in K sta potrdili usklajenost uspešnosti prediktorjev in rahlo premoč večnivojskega perceptrona. Po primerjavi občutljivosti MSE na spremembe parametrov pri VP in s -SVR (Slika 7.7 in Slika 7.14) se kljub manjši MSE na testni množici zaradi robustnosti odločimo za £ -SVR. Za izbiro optimalne nevronske mreže je bilo potrebno dolgotrajno raziskovanje prostora vseh kandidatov, kot pri učenju S -SVR. 7.7 Simulacija napovedovanja in predikcijski intervali Posebno pozornost v disertaciji smo posvetili določanju predikcijskih intervalov, ki v meroslovju narekujejo zanesljivost delovanja meroslovnih sistemov. Preizkusili smo dva algoritma za določanje predikcijskih intervalov, ki smo jih opisali na strani 103. Algoritmi slonijo na razmnoževanju in simulaciji. Ugotovili smo, da je algoritem, ki sloni na razmnoževanju učnih primerov s pomočjo ostankov bolj primeren za krajše časovne 197 Simulacija napovedovanja in predikcijski intervali vrste. Odločili smo se za uporabo algoritma, ki skloni na ocenjevanju napake večjega števila modelov. Časovno vrsto napetosti Ref A smo razdelili na tri neodvisne učne množice. Z vsako od njih smo zgradili model za kratkoročno napovedovanje, s pomočjo katerega smo potem na testni množici validirali ocenjene predikcijske intervale. -srednja napoved ■ spodnja meja zgornja meja čas [1/4 h] d,2"' ------prave vrednosti ......spodnja meja ......zgornja meja čas [1/4 h] Slika 7.18: Validiranje predikcijskih intervalov pri napovedovanju testnih podatkov Ref A: a) Srednje napovedi treh modelov in predikcijski intervali; b) Prave vrednosti in predikcijski intervali. Najprej smo predikcijske intervale ovrednotili po navodilih algoritma za ocenjevanje predikcijskih intervalov (na strani 103) kot standardno napako povprečne napovedi. Ugotovili smo, da je ocena preozka, saj 20% pravih vrednosti leži izven predikcijskih intervalov (angl. out of confidence, OOC). Slika 7.18 b) kaže simulacijo napovedovanja na prvih stotih podatkov testne množice. Odločili smo se, da bomo za vsako napovedano vrednost napako srednje napovedi modelov ocenili z maksimalno absolutno napako napovedi7. Ponovno smo izračunali predikcijske intervale napovedi in jih primerjali s pravimi vrednostmi. Simulacija je pokazala, da vse prave vrednosti ležijo znotraj intervalov (Slika 7.19 a)). Skušali smo »zožiti« predikcijske intervale in še vedno »pokriti« vse prave vrednosti. Za oceno napake napovedi smo tokrat uporabili mero srednje absolutne napake MAE (stran 95). Simulacija napovedovanja prvih 100 testnih podatkov je ponovno pokazala, da vse prave vrednosti ležijo znotraj predvidenih predikcijskih intervalov. MAX i=\..B 176 Maksimalno absolutno napako ocenimo za povprečno napoved B-tih prediktorjev z enačbo: y(xr,&b)-y(xr,.)-,y(xr,.) = ±-j^y(xr,Q*b) 198 POSKUSI IN REZULTATI spodnja meja zgornja meja ■prave vrednosti 20 40 60 80 čas [1/4 h] Slika 7.19: Validiranje predikcijskih intervalov pri napovedovanju testnih podatkov Ref A: a) Srednje napovedi treh modelov in predikcijski intervali ocenjeni z maksimalno absolutno napako; b) Prave vrednosti in predikcijski intervali s srednjo absolutno napako. V [135] smo preizkušali robustnost metode 8-SVR oziroma njeno občudjivost na dodajanje šuma. Prediktivno smo modelirali časovno vrsto ZEN6. V testno množico smo dodali 1% umetno ustvarjenega šuma, ki ima Gaussovo porazdelitev, da bi simulirali zajemanje napetosti z AD pretvornikom. Izračunali smo MSE napako, ki bi jo naredili z ocenjevanjem izhodne napetosti samo z AD pretvornikom. Ocenjena MSE napaka simuliranega signala (brez napovedovanja) je MSE = 0,0049. Izračunali smo tudi MSE napako napovedanega signala (z uporabo modela za napovedovanje), ki smo ga zgradili s »kakovostnimi« meritvami177. Model je napovedoval z uporabo nekaj zadnjih ocenjenih vrednosti. Dobili smo MSE = 0,002. Po kriteriju MSE smo z uporabo prediktorja S-SVR za dvakrat izboljšali poznavanje trenutne vrednosti napetosti v primerjavi z ocenjevanjem napetosti brez predikcijskega modela (Slika 7.20). Ugotovili smo, da je metoda 8-SVR robustna. Kakovostne meritve so pri nas meritve z instrumentom z zagotovljeno sledljivostjo, na primer HP 3458 199 Simulacija napovedovanja in predikcijski intervali Slika 7.20: Simulacija z dodajanjem šuma v časovni vrsti ZEN6. Napovedane vrednosti so bližje dejanskim v primerjavi z vrednostmi, ki jih pri simulaciji oceni AD (brez napovedovanja). 200 POGLAVJE 8 ZAKLJUČKI Poskusi z modeli črnih škatel na dvanajstih časovnih vrstah so potrdili, da za kratkoročno napovedovanje zadošča uporaba linearnih metod. Metode smo razdelili na štiri skupine: regresijske, klasične statistične, nevronske mreže in metodo podpornih vektorjev. Iz vsake skupine smo izbrali najbolj uspešne predstavnike. Po kriteriju srednje kvadratne napake (MSE) smo primerjali performance izbranih metod na vseh dvanajstih časovnih vrstah. Testi so pokazali, da za kratkoročno napovedovanje ni signifikantnih razlik med prediktorji. Na primeru napovedovanja časovne vrste napetosti Ref A smo performance prediktorjev merili tudi s kriteriji srednje absolutne napake (MAE) in korekcijskim koeficientom (K). Prediktorji so ponovno pokazali izenačene performance z rahlo prednostjo večnivojskega perceptrona. V smislu hitrosti učenja imata prednost metoda podpornih vektorjev in lokalno utežena regresija. Iz poskusov bi lahko sklepali, da ima za kratkoročno napovedovanje večji pomen postopek iskanja optimalnega prediktorja v skupini sorodnih prediktorjev kot izbira same metode. Kljub uporabi modelov na nivoju vhodno-izhodne preslikave je pomembno, koliko raziskovalec pozna uporabljeno orodje. Hkrati je potrebno poznavanje osnovnih lastnosti časovne vrste, ki jo modeliramo (stacionarnost, trend, avtokorekcijska funkcija, močnostni spekter in podobno). Le z obvladovanjem prostora parametrov, ki se neposredno nanašajo na model lahko poiščemo optimalni prediktor. Uporabljene časovne vrste so različno napovedljive, in to ne glede na model, ki ga uporabimo za napovedovanje. Slika 7.16 na strani 196 kaže, da so stolpci, ki opisujejo MSE napako za posamezne domene, izenačeni po velikosti glede na prediktorje, vendar so zelo različni med seboj glede na domene. S stališča modelov za kratkoročno napovedovanje je najbolj ZAKLJUČKI šumna časovna vrsta »slabe« diode ZEN3, medtem ko je najbolj napovedljiva časovna vrsta nelinearnega dinamičnega sistema LorZ. Med časovnimi vrstami enosmerne napetosti ugotavljamo, da sta najbolj napovedljivi časovni vrsti Ref A in ZEN6. Ref A ustvarja »staran« napetostni referenčni element tipa LTZ1000 v temperaturno stabilnem okolju. Časovno vrsto ZEN6 ustvarja, tudi v temperaturno stabilnem okolju, Zenerjeva dioda tipa LM329, ki ima med desetimi sorodnimi diodami najmanjši standardni odklon. Majhna MSE napaka pri napovedovanju napetosti na izhodu skupine zaporedno vezanih Zenerjevih diod je posledica slabe variabilnosti izrazito trendne časovne vrste, ki jo modeliramo (Slika 3.7 na strani 26 in Tabela 6.1 na strani 159) in ne uspešnosti modela (na primer korekcijski koeficient za najbolj uspešen model ARIMA(0,1,4) je 0,7). Simulacija z dodajanem šuma v časovni vrsti ZEN6 je pokazala, da z uporabo modela za napovedovanje dvakrat izboljšamo poznavanje trenutne napetosti v primerjavi z ocenjevanjem napetosti brez modela za napovedovanje (Slika 7.20 na strani 200). S tem potrjujemo smotrnost kratkoročnega napovedovanja na časovnih vrstah enosmerne napetosti tipa LM329. Za kratkoročno napovedovanje so pri sledenju izhodne napetosti v meroslovnem smislu zelo pomembni predikcijski intervali. Predlagamo uporabo skupine sorodnih modelov (na primer S — SVR), ki smo jih dobili z učenjem na različnih delih časovne vrste. Skupina prediktorjev tvori model črne škatle. Točkovne napovedi predstavljajo povprečje napovedi skupine prediktorjev, medtem ko so predikcijski intervali ocenjeni z uporabo srednje absolutne napake modelov. Na takšen način dobljeni intervali omogočajo »varno« uporabo predikcijskih modelov na področju merilne tehnike oziroma napovedovanje znotraj predvidenih mej. Maksimalno širino predikcijskih intervalov uporabimo pri ocenjevanju negotovosti modela med delovanjem. Posebno možnost uporabe modelov, ki so opremljeni s predikcijskimi intervali, vidimo pri zaznavanju nepravilnosti delovanja napetostnih elementov pri skupinskih napetostnih virih in sicer za izločanje elementa iz skupine. Recimo, da smo za vsak element posebej zgradili predikcijski model ali več modelov skupaj v obliki črne škatle. Črna škatla napoveduje trenutno vrednost. Pri izgradnji modelov smo uporabili meritve, ki smo jih dobili s kakovostnim inštrumentom z zagotovljeno sledljivostjo ali s kalibracijsko meritvijo. V času med umerjanji uporabljamo modele za kratkoročno napovedovanje, ki so opremljeni s predikcijskimi intervali. Modeli napovedujejo trenutne vrednosti na podlagi ocen, ki jih dobijo na svojih vhodih s pomočjo AD pretvornika ali poceni instrumenta. Za sledenje napetosti uporabljamo točkovne napovedi. Predikcijske intervale lahko uporabimo za ocenjevanje elementov v skupini za en korak nazaj. Ce se zgodi, da bo ocenjena vrednost s strani AD pretvornika izven predikcijskih intervalov, ki se nanašajo na to napoved, sistem za sledenje napetosti lahko predlaga izločitev 202 ZAKLJUČKI elementa. Glede na to, da so modeli zgrajeni z dolgoročnimi meritvami, bi to lahko pomenilo, da je element začel »lesti prehitro« ali da se je z delovanjem tega elementa zgodilo nekaj, kar nismo mogli predvideti. To je zadostni razlog za izločitev. Disertacija predstavlja študijo modelov za kratkoročno napovedovanje časovnih vrst z opisom možnosti uporabe le-teh na področju merilne tehnike za sledenje enosmerne napetosti na izhodu Zenerjevih diod. 8.1 Prispevki k znanosti 8.1.1 Prispevki na področju merilne tehnike Z uporabo modelov za napovedovanje zgradimo merilni sistem, ki se z »opazovanjem« prilagodi okolju, je samostojen, oziroma z določeno točnostjo ocenjuje spreminjanje napetosti, ne da bi jo neposredno merili, celo fizično je lahko oddaljen od vira napetosti. Sistem za sledenje izhodne napetosti je transparenten oziroma omogoča vpogled v spreminjanje napetosti znotraj predvidenih mej (predikcijskih intervalov). Modeli za dolgoročno napovedovanje enosmerne napetosti178 [44], [63], [76], [99], [100], [196], ki so jih razvili raziskovalci svetovno znanih meroslovnih laboratorijev, kot je NIST-ov, Flukejev, ocenjujejo, »projektirajo« izhodne napetosti referenčnih virov med dvema zaporednima umerjanjema. Projektirane napetosti so ocenjene glede na Josephsonov etalon. Naši modeli za kratkoročno napovedovanje ocenjujejo vrednosti napetosti kot relativne spremembe napovedane vrednosti glede na nekaj zadnjih ocenjenih vrednosti . Točkovne napovedi kratkoročnih modelov so bolj natančne. Njihovi predikcijski intervali so ozki in sledijo relativnim spremembam napetosti, odražajo negotovosti zaradi modela samega in zaradi sprememb v okolju obratovanja. Pri dolgoročnem napovedovanju so predikcijski intervali širši. Točno180 178 Modele za dolgoročno napovedovanje smo opisali v poglavju OPIS VIROV ENOSMERNE NAPETOSTI na strani 13. 179 V času delovanja sistema za sledenje enosmerne napetosti izhodno napetost ocenjujemo z AD pretvornikom ali s cenejšim merilnim instrumentom. 180 Modeli za dolgoročno napovedovanje so zgrajeni z meritvami, ki so jih dobili s kakovostnimi etaloni, celo z Josephsonovim etalonom, ki ga ima v lasti Flukejev laboratorij. 203 ZAKLJUČKI ocenjujejo le2enje vira med umerjanjema 2 vsemi negotovostmi, ki pov2ročajo nestabilnost napetosti. Modele za kratkoročno napovedovanje uporabljamo v kontekstu merilnih negotovosti sistema: — Umeščamo in ocenjujemo negotovosti modela 2a napovedovanje med ostale negotovosti merilnega sistema. — Ocenjujemo negotovosti modela za napovedovanje med delovanjem kot negotovosti zaradi modela in negotovosti zaradi spremembe okolja obratovanja. • Modele 2a kratkoročno napovedovanje bi lahko uporabili za diagnosticiranje delovanja posameznih elementov v skupinskih enosmernih napetostnih virih: — Za vsak element posebej zgradimo model ali skupino modelov za kratkoročno napovedovanje. — Modele umestimo v zanko, ki omogoča točkovno ocenjevanje spreminjanja izhodne napetosti. Točkovne napovedi opremimo s predikcijskimi intervali, ki jih pri sledenju napetosti uporabimo za korak nazaj. Ce so ocenje vrednosti izven predikcijskih intervalov lahko ukrepamo 2 izločanjem elementa iz skupine. 8.1.2 Prispevki na področju prediktivnega modeliranja časovnih vrst Vpeljemo paradigmo črnih škatel, s katero poenoteno opišemo linearne regresijske, klasične statistične modele, nevronske mreže, metodo podpornih vektorjev in katerokoli drugo metodo, ki jo opa2ujemo na podlagi vhodno-i2hodne preslikave. Metodologija modeliranja s črnimi škatlami omogoča poenoteno parametrizacijo, izvajanje poskusov in primerjanje uspešnosti napovedovanja različnih metod 2a kratkoročno napovedovanje. l2vajamo sistematično preiskovanje prostora parametrov ali optimizacijo parametrov modela med kandidati iz določenega strukturnega razreda181. S preiskovanjem prostora parametrov v širino izberemo tistega, ki doseže najmanjšo napako, kar v meroslovnem smislu pomeni, da izbiramo model, ki je najbolj točen. Najbolj uspešne modele izbiramo z ocenjevanjem napake napovedovanja na testnih podatkih. Za primerjanje prediktorjev, ki so enako uspešni po kriteriju srednje kvadratne napake, uporabljamo več mer uspešnosti (AIC, korekcijska dimenzija). 181 Raziskovalčevo poznavanje orodja zagotavlja pravilno dimenzioniranje prostora parametrov, ki opišejo modele. 204 ZAKLJUČKI Predikcijske intervale določamo v kontekstu merilne tehnike kot srednjo absolutno napako skupine prediktorjev, ki smo jih zgradili z uporabo različnih segmentov učne množice. Na področju modeliranja časovnih vrst napetosti je prvič uporabljen regresijski model podpornih vektorjev SVR. 205 DODATEK A SPLOŠNO O POLPREVODNOSTI V dodatku se ukvarjamo z opisovanjem fizikalnega pojava polprevodnosti. Najprej bomo opisali zgodovinsko osnovo za razvoj modela za razumevanje lastnosti prevodnosti materialov, ki ne sodi med modele klasične fizike. Preko fizikalne teorije trde snovi bomo prišli do definicije polprevodnikov ter do opisa polprevodnosti z energetskega stališča. Polprevodniški napravi, tranzistor in dioda, sta osnovna sestavina pri izgradnji računalnikov ter vseh digitalnih instrumentov. S posebnim poudarkom se ukvarjamo z diodami. Polprevodniški elementi, ki jih uporabljamo pri ustvarjanju signalov enosmerne napetosti so Zenerjeve diode. V tem podpoglavju bomo opisali, kaj v fizikalnem smislu pomeni prevodnost. Začeli bomo z opisom, kako pridemo do klasifikacije materialov na prevodnike, polprevodnike in izolatorje. A.1 Fizikalne osnove prevodnosti Če baterijo zaporedno povežemo z ampermetrom ter določenim materialom (bakrom, silikonom, steklom...), bo odklon ampermetra potrdil prisotnost pretoka nabitih delcev (električni tok) skozi vezje. To pomeni, da je prisoten padec električnega potenciala skozi material, ki ga opazujemo. Električno upornost, oziroma prevodnost, ki so električne lastnosti materialov, ni možno opisati z modeli klasične fizike. Prvi resnejši poskus za razumevanje lastnosti prevodnosti materialov je bil model klasične teorije prostih elektronov (angl. classicalfree electron model, CFE) skozi trde snovi [61], ki je slonel na predpostavki, da je kovina, trda snov, zaporedje ionov, med katerimi se gibljejo prosti elektroni, valentni elektroni, ki so nosilci električne prevodnosti. Model prostih elektronov je opisal Ohmov zakon, žal pa ni opisal električne in toplotne prevodnosti trdih materialov (snovi). Pozneje je bil razširjen na kvantno mehanični model prostih elektronov (angl. quantum-mechanical free electron model, QMFE), ki je upošteval kvantno naravo elektronov182 in elektrone obravnaval v skladu s Paulijevim principom izključitve183. Temperaturno odvisnost prevodnosti so pojasnili šele z upoštevanjem dvojne narave elektronov, ki so hkrati delci in valovi. Zal pa oba modela nista odgovorila na vprašanje, zakaj imajo različni tipi materialov zelo različne karakteristike prevodnosti. S tem se ukvarja pasovna teorija trdih snovi. Energetski spekter elektronskega plina je kvanten. Ni dveh elektronov, ki bi imela isti kvantni številki. SPLOŠNO O POLPREVODNOSTI A.2 Pasovna teorija trdih snovi Kemični elementi kristalizirajo in tvorijo trde snovi, ki so lahko dobri prevodniki, izolatorji ali pa polprevodniki, katerih električne lastnosti se spreminjajo s temperaturo. Električna upornost različnih materialov se lahko spreminja od p ~ 108 Q za dobre prevodnike do p ~ 1022 Q za dobre izolatorje. Razlike med tema dvema skupinama lahko razumemo z upoštevanjem interakcije med elektroni s pozitivno rešetko ionov. Kvantni model prostih elektronov predpostavlja enakomerno porazdelitev potencialne energije znotraj rešetke ionov. Bolj realna je periodična porazdelitev, saj se ioni razporejajo v pravilno rešetko s kristalizacijo. Ce upoštevamo interakcijo elektronov z rešetko ionov, pridemo do naslednjih lastnosti elektronov v trdih snovi: Kvantno mehanični model prostih elektronov opisuje zaporedje stanj diskretnih energij, ki ju loči lO15 eV, od približno 0 do Fermijevega nivoja184 potencialne energije (Fermijeva energija Ef). Zaporedje stanj diskretnih energij predstavlja kvazi-zvezen pas energij. V skladu z modelom kvantne energije je neskončno veliko stanj nezasedenih energetskih stanj nad Fermijevim nivojem. Ce upoštevamo interakcijo elektronov z ioni, pridemo do zaključka, da je ta pas omejen. Ce je le-ta prost, potem elektrone lahko razburimo in lahko preidejo v višja energetska stanja, pri tem pa prispevajo k toplotni in električni prevodnosti. Ce je ta pas izpolnjen, oziroma ni prostih energetskih stanj, potem elektronov ni mogoče razburiti. Pasovna teorija trdih snovi opisuje razlike med izolatorji in prevodniki. Ce pripeljemo zunanji električni ali magnetni vir, elektroni pridobijo efektivno maso m*, ki je lahko večja ali manjša od mase prostega elektrona ali celo negativna, oziroma različna od dejanske mase. Pri polprevodnikih, pri absolutni ničli, je valentni pas elektronov popolnoma zaseden, medtem ko je prevodni pas popolnoma prost. V tem primeru se polprevodnik obnaša kot idealen izolator. S povečevanjem temperature določeni elektroni185 iz valentnega pasu sprejmejo zadosti toplotne energije in preidejo v prevodni pas. Prosta mesta v valentnem pasu se imenujejo vrzeli. Sosedni elektroni z valentnega pasu lahko zapolnijo izpraznjeno pozicijo, kar ustreza gibanju pozitivnih nabojev. A.3 Polprevodniki Uporaba polprevodniških tehnologij se je razširila okoli leta 1950 zaradi njihove uporabe v računalništvu. Leta 1930 je A. H. Willson razvil osnovni model polprevodnika. Razlog za tehnološko revolucijo, ki je sledila, je odkrivanje metodologij za pripravo vzorcev silicija (Si) in germanija (Ge) s koncentracijo nečistosti od 1 do 1010. Take nečistosti je pri drugih trdih snoveh težko doseči. A.3.1 Pravi polprevodniki Pri pravih polprevodnikih (angl. intrinsic semiconductorš) je koncentracija nečistosti tako nizka, da ne vpliva na električne lastnosti snovi. Le-te so določene samo s pasovnimi lastnostmi snovi. Polprevodnik je trda snov, ki ima pri temperaturi T= 0 K valentni pas popolnoma zaseden z elektroni in ki ga od praznega prevodnega pasu loči prepovedan energetski prepad Eg. Pri določeni temperaturi se majhno število elektronov toplotno vzburi in preko prepovedanega energetskega prepada preide v prevodni pas. Le-tisti elektroni ter vrzeli, ki jih puščajo v valenčnem pasu in jih lahko pospešimo z zunanjim električnim poljem, imajo merljive prevodne lastnosti. Natančneje, najbolj pomemben dejavnik pri določanju prevodnih lasmosti polprevodnikov je število elektronov na enoto prostornine, ki preidejo v prevodni pas pri podani temperaturi T. Število elektronov v prevodnem pasu dobimo tako, da Fermijeva energija je najvišji zapolnjen energetski nivo pri absolutni ničli. (T=0). Elektroni na vrhu valentnega pasu imajo negativno efektivno maso. 207 Polprevodniki zmnožimo gostoto določenih stanj v vsakem zaporednem energetskem intervalu z verjetnostjo, da bo leta zaseden ter integriramo po dolžini prevodnega pasu. Natančnejši postopek izračuna števila elektronov na enoto prostornine v prevodnem pasu je opisan v [70]. Gostota prevodnih elektronov je v diamantu za 44 redov velikosti manjša od gostote prevodnih elektronov pri silikonu (Si). Pri sobni temperaturi (T=300K), je gostota elektronov pri Si 1015 na m3. V skladu s pasovno teorijo trdnih snovi (opis 3. lastnosti) je gostota vrzeli, ki se obnašajo kot pozitivni naboji, v valentoem pasu enaka gostoti prostih elektronov v prevodnem pasu. Temperatura ter notranje lastnosti, kot sta efektivni masi m*e, m*h, ter širina energetskega prepada Eg, določajo lastnosti polprevodnika. Fermijeva energija Ef za T=0 je Eg/2. Celo za T>0 Ef« Eg/2. Pri polprevodnikih vemo, da potrebuje elektron, ki zapušča vrh valentnega pasu energijo Eg. Za seboj pušča vrzel. Če na proces gledamo kot na proces dveh osnovnih delcev, potem vsaka vrzel (implicitno elektron) potrebuje Eg/2 za premostitev energetskega prepada. A.3.2 Nepravi polprevodniki Z dodajanjem določenih elementov se prevodne lastnosti polprevodnikov povečujejo. Elementi, ki se uporabljajo za dodajanje so: fosfor, arzen, antimon, ki sodijo v V skupino elementov Periodičnega sistema, ter aluminij, bron, galium ipd., ki so elementi III skupine. Atomi dodatka se vežejo na rešetko polprevodnika. Na primer, z dodajanjem fosforja silikonu ostane elektron, ki ni premočno vezan na jedro (nukleus). Pri absolutni ničli je potrebnih « lO2 eV za n]egovo ionizacijo. Pri višjih temperaturah ta elektron še lažje pride v prevodni pas, ker pa ga »dotira« (»podari«) dodani element, se imenuje donorski elektron in ne »odpira« vrzeli s svojim prehodom v prevodni pas. V tem primeru, ko je v polprevodniku več negativnih delcev, govorimo o polprevodnosti tipa n. Element, ki ga dodamo je donor. Če silikonu dodamo element iz III skupine, dobimo vrzel v štirivalentni rešetki. S povečevanjem temperature se vrzel lahko premika po kristalni strukturi rešetke. Element, ki ga dodamo je akceptor. Tip polprevodnika, ki vsebuje več pozitivnih delcev ]ep. Pri polprevodnikih tipa n je Fermijeva energija Ef na polovici med donorjevo energijo Ed in vrhom prevodnega pasu Eg. S povečevanjem temperature Ef se približuje vrednosti, ki velja za čiste polprevodnike. Prehod v prevodnost se pojavi pri večji temperaturi ob določeni koncentraciji »nečistosti« oziroma dodatka. V tem primeru elektroni iz valenčnega pasu igrajo pomembnejšo vlogo od elektronov dodatka in se polprevodnik začne obnašati kot pravi polprevodnik. Pri polprevodnikih tipa p je akceptorska energija Ea blizu valenčnega pasu. Pri nizkih temperaturah dodatek sprejme elektrone iz valenčnega pasu ter s tem onemogoči prenašanje vrzeli. Pri višjih temperaturah prevodni pas prevzame glavno vlogo pri prevodnosti. Polprevodnik se obnaša kot pravi polprevodnik. Pri polprevodnikih tipa n so elektroni večinski nosilci prevodnosti, vrzeli pa manjšinski, medtem ko je pri polprevodnikih tipa/* situacija obrnjena. Premikanje elektrine ali nabojev v polprevodnikih je moteno zaradi lezenja zaradi električnega polja, difuzije termalno vzburjenih nabojev iz področja z visoko koncentracijo proti področju z nižjo koncentracijo ter z ustvarjanjem in rekombinacijo parov elektron-vrzel [70]. A.3.2.1 Lezenje Električna prevodnost G pri polprevodnikih je močno odvisna od temperature. Medtem ko je pri prevodnikih aocl/T, pri pravih polprevodnikih prevodnost narašča eksponentno s temperaturo: tip kot za n tip. Elektroni (manjšinski nosilci naboja) se pretakajo iz prevodnega pasu polprevodnika tipa^> proti polprevodniku tipa n. Tok i(p —> n) je proporcionalen celotnemu številu elektronov na strani: i(p -^n) = A exp f-C^-JF) A g F , (KBT) Enačba (A.3) A je proporcionalna konstanta. Na strani n so večinski nosilci naboja elektroni, ki so v prevodnem pasu. Le tisti elektroni, ki imajo energijo enako ali večjo energiji zapreke \e\Vt preidejo skozi spoj. Tok elektronov skozi spoj je proporcionalen številu elektronov, ki imajo energijo večjo od | e \ Vc. i(n -> p) = ANef(E > \e\Vc) Enačba (A.4) Za silicijevo diodo je Vc pri sobni temperaturi med 0,6 in 0,8 V. 209 Polprevodniške naprave Ne je število elektronov v prevodnem pasu polprevodnika n in f(E >\e\Vc) je njihov delež, ki imajo energijo večjo od zapreke E ^ Id Vc. Pri sistemih z Maxwell-Bolzmanovo porazdelitvijo delež elektronov, ki imajo višjo energijo od določene lahko aproksimiramo z Bolzmanovim faktorjem exp(-is. Kk „ 7")), kar potrjuje predpostavko, da je omrežni tok ničeln: i(n —>/?) = i(p -> p) Enačba (A.5) Tokp->n, kjer so elektroni manjšinski naboji, ni vzburjen z višino potencialne zapreke, saj ko jo elektron enkrat najde v prevodnem pasu, ni omejitev v p ali n smereh. Ce opazujemo tok iz n->p, kjer so večinski nosilci elektroni, je negativno eksponentno odvisen od višine zapreke. Ce se le ta zmanjša, se pretok elektronov skozi zapreko poveča. Ta lastnost pomeni, da gre skozi p-n spoj tok le v eno smer. Slika A.l: Preprost model polprevodniške diode (vir slike [192]). A.4.1 Dinamika v polprevodnikih povzročena s trki ionizacijskih plazov Kompleksne disipativne strukture in turbulence, ki se kažejo v nitkastih polprevodniških tokovih, so pogosto predmet numeričnega modeliranja fizikov, ki se ukvarjajo s kvantno mehaniko. Turbulence elektronov pod periodično vodenim režimom (izmenično polje), ki jih opisujejo z modelom trka ionizacijske lave, kažejo vzorec bufurkacij oziroma determinističnega kaosa in predstavljajo zelo kompleksno nelinearno dinamiko. Bifurkacija tipa podvojevanja periode toka skozi polprevodnik je vidna. Tvorijo se prostorsko-časovni vzorci pod vplivom prečnega polja. Časovno prostorske bifurkacije na nivoju polprevodnikov so težko merljive zaradi občutljivosti tokovnih nitk na elektronski ali laserski žarek, ki ga proizvajajo med meritvijo merilni inštrumenti. Upamo, da bo z razvojem merilne tehnike omogočeno merjenje prostorsko-časovnih bifurkacij znotraj polprevodnikov. S tem bo znanstveno pojasnjen tudi velik del nelinearne dinamike, ki se kaže tudi na nivojih izhodne napetosti, ki je predmet modeliranja v disertaciji. A.5 Polprevodniške naprave Polprevodniki tipa n in tipaje se uporabljajo v polprevodniških napravah, kot sta tranzistor in dioda, ki sta osnovna sestavina pri izgradnji računalnikov ter vseh digitalnih instrumentov. Ukvarjali se bomo z lastnostmi diod, saj jih uporabljamo kot napetostne vire. Ko se dve različni kovini stikata, elektroni iz ene kovine prehajajo v drugo. Najmanjšo kinetično energijo, ki »drži« elektrone ene kovine imenujemo delovno funkcijo O kovine. Ce se dve kovini z različnimi delovnimi funkcijami stikata (®i < O2), bodo elektroni blizu Fermijevega nivoja prve kovine imeli višjo energijo kot elektroni druge kovine, kar bo povzročilo pretok elektronov iz prve v drugo kovino. Prva kovina bo pozitivno nabita, druga pa negativno. Pojavila se bo potencialna razlika na samem spoju med kovinama. Pomembna predpostavka, ki velja tako za prevodnike kot za polprevodnike je, da so Fermijevi nivoji prevodnih snovi enaki. Prav vzdrževanje ekvilibrijskega pogoja, ki ga lahko spremenimo z dovajanjem zunanje energije, je osnovna funkcija diod. 210 SPLOŠNO O POLPREVODNOSTI A.5.1 Polprevodniška dioda Najenostavnejša polprevodniška naprava je p-n spoj ali polprevodniška dioda, ki prevaja električni tok v samo eno smer. Preden pride do stika, polprevodnik tipa n vsebuje proste elektrone187. Nosilci naboja se nevtralizirajo v prostoru s pomočjo pozitivnih donorskih ionov. Podobno v polprevodniku tipa^ obstaja veliko mobilnih vrzeli, ki se nevtralizirajo s prostorskimi negativnimi akceptorskimi ioni. Ko staknemo polprevodnika, pride do prehoda elektronov polprevodnika tipa n v p področje, oziroma vrzeli iz področja p prehajajo v področje n in se rekombinirajo z elektroni s prevodnega pasu. Istočasno neokretni donorski ioni na strani n ter akceptorski ioni na strani^) postanejo nosilci naboja tako, da sedaj področje n postane pozitivno ter področje p negativno. Oblikuje se notranje električno polje, ki preprečuje nadaljnjo prelivanje nosilcev nabojev. Prevajanje v energetskem smislu smo natančneje opisali v prejšnjem podpoglavju. Dioda, kot polprevodniška naprava, je sestavljena iz p-n spoja polprevodnika in dveh priključkov: ANODA (na^-tip) in KATODE (na *-tip). Skozi diodo pripeljemo zunanji vir napetosti VG oziroma priključimo vir napetosti na dva možna načina: v prevodno in zaporno smer. Cepin n dotirana polprevodnika primerno spojimo, dobimo na meji p-n spoj. n polprevodnik je katoda m.p polprevodnik anoda polprevodniške diode. Slika A.l prikazuje tri možna stanja^)-« spoja. Kot smo že povedali, ko med anodo in katodo ni zunanje napetosti, nastopi na mejnem^-;/ spoju difuzija elektronov v p področje in difuzija vrzeli v n področje, dokler ne pride do ravnotežja med elektroni in vrzelmi, kot je opisano v tekočem poglavju. Mejno področje nima več nosilcev elektrine in je dober izolator. P-n spoj tvori zaporno plast. To področje imenujemo tudi področje prostorskega naboja. Pojav si razlagamo takole: ko p in n polprevodnika staknemo, nastopi izenačevalni proces. Oba p in n polprevodnika predstavljata rezervoar nosilcev elektrine, ki v sosednjem področju manjka. Nosilci elektrine, ki so odpotovali v sosednje področje so pustili za sabo praznino, ki povzroča električno polje. To polje je tako usmerjeno, da nasprotuje izenačevanju. Ko dosežeta difuzija nosilcev elektrine in električno polje, ki difuziji nasprotuje, ravnotežje, je proces ustvarjanja zaporne plasti in prostorskega naboja ustavljen. Zunanja električna napetost med anodo in katodo ojači oziroma oslabi zaporno plast, odvisno od polaritete napetosti. Če zaporno napetost večamo, teče v zaporni smeri le zelo majhen tok od lO^do 1(T12A. Pri prebojni napetosti nastopi kritična električna poljska jakost v zaporni plasti, do 107 V/m, zaradi katere pride do množičnega trganja valenčnih vezi, in s tem do velike koncentracije nosilcev elektrine. Pojav imenujemo lavinski ali plazovit preboj na p-n spoju električne diode, ki jo največkrat tudi uniči. •°T / ZD Slika A.2: Zenerjeva dioda: levo u/i odvisnost in desno uporabljana simbola (vir slike [192]). A.5.2 Zenerjeva dioda Podobne električne lastnosti kot polprevodniška ima tudi Zenerjeva dioda, le da je preboj pri tej diodi dovoljen in pogosto uporabljan, prebojna napetost pa je izredno stabilna, ponovljiva in najpomembnejša lastnost diode, ki se uporablja. Prehod iz zapiranja v zaporni smeri v prevajanje v zaporni smeri pri Zenerjeve napetosti, ki je hkrati največja zaporna napetost, je oster. Tukaj nastopa lavinski preboj. Zenerjeva dioda je grajena na izredno čistem silicijevem monokristalu. P-n spoj ima zato izredno homogene električne lastnosti po vsej površini in preboj nastopi homogeno po vsem p-n spoju hkrati. Ker se sproščena energija sprosti 187 Elektroni so v prevodnem pasu. Prispeva jih donor. 211 Polprevodniške naprave enakomerno po vsej površini, je tudi porast temperature na p-n spoju neznaten in preboj ne povzroči nevarnosti uničenja. Slika A.2, leva stran, prikazuje ud/id odvisnost Zenerjeve diode. Na desni strani sta podana simbola. Napetostno tokovna odvisnost v prevodni smeri je enaka kot pri navadni polprevodniški diodi. V zaporni smeri pa imamo Zenerjevo napetost Uz, Zenerjev tok Iz in Zenerjevo notranjo upornost rz, ki so hkrati tudi pomembni parametri Zenerjeve diode. Pri Zenerjevem toku reda mA so lahko Zenerjeve napetosti v območju od 4 V do 200 V z notranjo upornostjo od nekoliko mQ do več deset Q pri diodah z višjimi napetostmi. Stabilnost in ponovljivost Zenerjeve napetosti, ki je hkrati le malo odvisna od drugih fizikalnih parametrov, ki jim je podvržena, uporabljamo v realnih napetostnih virih - napetostnih referencah. Slika A.3: Referenčni vir, izveden z Zenerjevo diodo, levo, in električno nadomestno vezje, desno (vir slike [192]). Slika A.3 predstavlja izvedbo referenčnega vira z Zenerjevo diodo na levi ter nadomestno vezje na desni. Nadomestno vezje je prikazano idealizirano, kot da sta Zenerjeva kolenska napetost Uz in notranja upornost konstantni, kar ne ustreza popolnoma dejanskemu stanju, za analizo pa nam tak model ustreza. Grafično analizo lahko izvedemo s pomočjo uz/iz odvisnosti, kot prikazuje Slika A.5. Napajalna napetost Ux naj menja svojo vrednost za Aw,. Zanima nas, kolikšna bo sprememba referenčne napetosti Auz oziroma kolikokrat bolj stabilna bo referenčna napetost od napajalne. V ta namen definirajmo stabilnost in faktor stabilizacije Su u po enačbah: C/, (T,, = Ah, in o- = Ah, a. AhzL/, Enačba (A.6) Če je v delovnem področju Zenerjeve diode upornost znana - dobimo jo lahko iz kataloga, diagrama ali pa jo izmerimo - lahko faktor stabilizacije izrazimo z njeno pomočjo po enačbah: Ah, = Ah, R + K U, BL3(p=6) t~ -0,4551 *tj + MODEL4 (p=7) t--0,6588 * tj + 0,9424 * t_5 + 3,8869 * t_3 + -4,6817 *tj + 3,1508 *tj + 3,0245 * t_6 + -5,8361 * t_2 + 9,3882 * t_3 + -9,0072* tj + -4,5158 * tj + 3,9282 *tj + -9,5003 * t_2 + 13,6636 * tj + -0,0005 * tj + 0,0001 4,8514 *tj + -11,6329* tj + 7,7249 * tj + 0 5,2808* tj + -9,5549 * tj + 0 4,9805* tj + 0 Slika D.3: Vsebina »najboljših« škatel pri napovedovanju časovne vrste LorZ z navadno linearno regresijo. / = 0,023 *tj + 0,0297 * tj + 0,0463 * tj + 0,053 * tj + 0,0992 * tj + 0,7204* tj + 0, Slika D.4: Vsebina škade pri napovedovanju časovne vrste FBMl z navadno linearno regresijo. t- 0,0517 *tj + 0,0371 *tj + 0,1073 *tj + 0,0435 *tj + 0,0579 *t_2 + 0,6969 *tj + 0,0021 Slika D.5: Vsebina škade pri napovedovanju časovne vrste Ref A s pace regresijo. t- 0,0975 *tj + 0,1211 *tj + 0,1086 *tj + 0,1459 *tj + 0,302 *tj + 0,2045 *tj + 0,0105 Slika D.6: Vsebina škade pri napovedovanju časovne vrste ZEN6 s pace regresijo. MODELI (p=4) t- -0,9794 * tj + 3,8874 * tj + -5,8366 * tj + 3,9284 *tj + 0,0001 MODEL2 (p=S) t- 0,9565 * tj + -4,737 *tj + 9,4709 * tj + -9,5558 * tj + 4,8654* tj + 0 MODEL3(/>=<5) / = -0,8729 * tj + 5,2043 * tj + -13,0815* tj + 17,7428 * tj + -13,6939 * tj + 5,7011 *tj + 0 MODEL4 (p=7) t- -0,2029 * tj + 0,2842 * tj + 2.4243 * tj + -9,4786 * tj + 15,0858 * tj + -12,6365 * tj + 5,5237* tj + 0 Slika D.7: Vsebina »najboljših« škatel pri napovedovanju časovne vrste LorZ s pace regresijo. 231 REZULTATI POSKUSOV MODELI (p=5) / = 0,0414 * t_5 + MODEL2 (p=6) t-0,0407 * t_6 + 0,062 * t_4 + 0,0217 * t_5 + 0,04 *tj + 0,0473 *t_4 + 0,1016 *t_2 + 0,0292 * t_3 + 0,7264* tj + 0,1075 *t_2 + 0,0143 0,7254 *t_1 0,014 Slika D.8: Vsebina »najboljših« škatel pri napovedovanju časovne vrste FBMl s pace regresijo. M5 pore^ano modelno drevo: (glajenje parametrov) IM1 (1000/29,941%) l M. num: 1 t — +0,0541 *tj + 0,0806 * tjS + 0,1038*115 + 0,1127 * t_4 + 0,138 *t_3 + 0,2903 * t_2 + 0,1996* tj + 0,0108___________ St. pravil: 1 Slika D.9: Vsebina škatle pri napovedovanju časovne vrste ZEN6 z modelnim drevesom. VP FIR-VP GMDH Rek. NM AT 0,00290521 0,00336 0,00522 0,003084 RefA 0,00046225 0,000705 0,001638 0,000569 Ref Akontr. 0,00054756 0,001705 0,000577 RefD 0,00274576 0,002632 0,00452 0,002887 Ref D kontr. 0,00276676 0,004905 0,003241 ZEN1 0,01012036 0,009999 0,013373 0,010233 ZEN3 0,01948816 0,020423 0,03216 0,023189 ZEN6 0,00103041 0,001135 0,00348 0,001377 skupina 4 ZEN 0,00055696 0,000575 8,21E-09 0,000521 LorZ 0,00000016 4,46E-06 0,000103 2,82E-05 FBMl 0,001444 0,001594 0,006743 0,00175 FBM2 0,00667489 0,007204 0,018721 0,007411 Tabela D.3: Tabela MSE napak nevronskih mrež na vseh dvanajstih domenah. Vrstice so imena domen, stolpci predstavljajo prediktorje. V celicah tabele so shranjene MSE napake na testnih podatkih. S krepko pisavo so označeni najbolj uspešni modeli. 232 LITERATURA [1] C. Alippi, V. Piuri, »Experimental Neural Network for Prediction and Identification«, IEEE Trans. Instr. Meas., Vol. 45, No. 2„ strani 670-676, April 1996. [2] E.G. Altmann in H. Kantz, »Recurrence Time Analysis, Long-term Correlation, and Extreme Events«, sprejeto za objavo v Phjs. Rev. E, DOI: physics/0503056, arXiv, spletna stran [dosegljiva od] 8. marec 2005: http://arxiv.org/abs/physics/0503056. (obiskana: 20. Marec 2005). [3] N. Ancona, Properties of Support Vector Machines for Regression, Technical Report 01-99. Istituto Elaborazione Segnali ed Immagini, Bari, Italy, 1999. [4] N. Ancona, On Margin and Support Vector Separabilitj in Support VectorMachines for Regression, Technical Report 03-99, Istituto Elaborazione Segnali ed Immagini, Bari, Italy, 1999. [5] P. Andras, »The Equivalence of Support Vector Machine and Regularization Neural Networks«, NeuralProcessing Letters, Vol. 15, No. 2, strani 97-104, 2002. [6] K. Aoki, »Rule Dvnamics of Electronic Turbulence in Semiconductors Caused by Impach Ionization Avalanche«, International Journal of Bifurcation and Chaos, Vol. 7. No. 5, strani 1057-1064,1997. J.S. Armstrong in F. Collopv, »Identification of Asvmetric Prediction Intervals through Causal Forces«, Journal ofForecasting, Vol. 20, strani 273-283, 2001. [8] EA. Bailey, »Units and Standards of Measurement«, /. Phys. E: Sci. Instrum, Vol. 15, strani 849-856, September 1982. [9] V. Batagelj, Zapiski pri predmetu Optimizacij ske metode,, Fakulteta za elektrotehniko in računalništvo, Ljubljana, 1988. [10] S. P. Benz in C. A. Hamilton, »Application of the Josephson Effect to Voltage Metrologv«, Proč. IEEE, Vol. 92, No. 10, strani 1617-1629, oktober 2004. [11] A. Bernieri, G. Betta, C. Linguori, A. Losi, »Neural Networks and Pseudo-Measurements for Real-Time Monitoring of Distribution Systems«, IEEE Trans. Instr. Meas., Vol. 45, No. 2, strani 645-650, April 1996. [12] A. Bernieri, G. Betta, C. Linguori, »Design and Implementation of Neural Networks Real-Time Measurement Applications«, V Proč. ofET&VS-IM/97 IEEE Workshop on Emerging Technologies, Intelligent Measurement and Virtual Sjstems for Instr. And Meas, 1997, strani 29-38. [13] M. Bertocco, C. Narduzzi, P. Paglierani, D. Petri, »A Noise Model for Digitalized Data«, IEEE Trans. Instr. Meas., Vol. 49, No. 1, strani 83-86, Februar 2000. LITERATURA [14] CM. Bishop in M.E. Tipping, »Bayesian Regression and Classification« In Advances in Learning Theorj: Methods, Models and Applications, uredniki: J. Suykens, G. Horvath, S. Basu, C. Micchelli, J.Vandewalle, Vol. 190, strani 267-285, IOS Press, NATO Science Series III: Computer and Systems Sciences, 2003. [15] CM. Bishop in M. Svensen, »Robust Bayesian Mixture Modelling«, Proceedings Twelfth European Sjimposium on Artificial Neural Networks, urednik: M. Verleysen, 2004, strani 69—1 A. [16] T. Bountis, L. Karatsanis, G. Papaioannou, G. Pavlos, »Determinism and Noise in Surface Temperature Time Series«, Ann. Geographjcae, Vol. 11, EGS_Springer Verlag, strani 947-957, 1993. [17] G.E. Box in G.M. Jenkins, Time Series Analjsis Forcasting and Control, San Francisco: Holden Day, 1976. [18] J. Brank, Predstavitev metode podpornih vektorjev, 113. in 114. Solomonov seminar, 18. in 20. marca 2003, spletna stran: http://www.brank.org/svm/ . [19] C.J.C. Burges, »A Tutorial on Support Vector Machines for Pattern Recognition« Knoivledge Discoverj and Data Mining, Vol. 2, No. 2, 1998. [20] P.J. Brockwell in R.A. Daviš, Introduction to Time Series and Forecasting, 2nd Edition, New York: Springer, 2002. [21] D.S. Broomhead in G. P. King, »Extracting Qualitative Dvnamics from Experimental Data«, Phjsica, Vol. 20D, strani 217-236,1986. [22] S. Campbell in F.X. Diebold, »Weather Forecasting for Weather Derivatives«, Manuscript, Department of Economics, University of Pennsvlvania, spletna stran [dosegljiva od] 2004: http://www.ssc.upenn.edu/~fdiebold/papers/paper53/dcl0.pdf. (obiskana: april 2005). [23] A. Caponnetto, »A Note on the Role of Squared Loss in Regression«, CBCL Paper, Massachusetts Institute of Technology, Cambridge, MA, June 2005, spletna stran: http://cbcl.mit.edu/projects/cbcl/publications/ps/caponnetto-squareloss-6-05.pdf. (obiskana junij 2005). [24] C.-C. Chang in C-J. Lin. LIBSVM:^4 Ubrarj for Support Vector Machines, spletna stran s programsko opremo: http://www.csie.ntu.edu.tw/~cilin/libsvm/. (obiskana: marec 2005). [25] M.-W. Chang, B.-J. Chen, C-J. Lin, »EUNITE Network Competition: Electricity Load Forecasting« , Winner of EUNITE ivorldivide competition on electricitj loadprediction, EUNITE, spletna stran [dosegljiva od] November 2001: http://www.csie.ntu.edu.tw/~cjlin/papers/euniteelf.ps.g2. (obiskana: 1.marec 2005). [26] M.-W. Chang, C-J. Lin, »Leave-one-out Bounds for Support Vector Regression Model Selection«, sprejeto za objavo v Neural Computation, spletna stran: http://www.csie.ntu.edu.tw/~cjlin/papers/svrbound.pdf. (obiskana: 1.marec 2005). [27] C. Chatfield, The Analjsis ofTime Series, An Introduction, 4th Edition, London: Chapman&Hall, 1992. 234 LITERATURA [28] C. Chatfield, »Prediction Intervals for Time-Series Forecasting«, V Princip les ofForecasting: A Handbookfor Researchers and Practitioners, urednik: J. S. Armstrong, Boston: Kluwer Academic Publishers, 2001, strani: 475-494. [29] B.-J. Chen, M.-W. Chang, C.-J. Lin, »Load Forecasting Using Support Vector Machines: A Study on EUNITE Competition 2001«, Sprejeto za objavo v IEEE Trans. Pow. Sjst., spletna stran: http: / /www.csie.ntu.edu.tw/ ~cjlin /papers /elf.pdf. (obiskana: oktober 2002). [30] P.-H. Chen, C.-J. Lin, B. Scholkopf, »A Tutorial on nu-Support Vector Machines«, sprejeto za objavo v Applied Stochastic Mode/s in Business and Industry, Spletna stran: http://www.csie.ntu.edu.tw/~cjlin/papers/nusvmtutorial.pdf. (obiskana: Maj 2004). [31] Y. Chen, »Global Stabilitv of Neural Networks with Distributed Delays«, Neur. Netw., Vol. 15, strani 867-871, 2002. [32] V. Cherkasskv, X. Shao, F. M. Muller, V. N. Vapnik »Model Complexity Control for Regression Using VC Generalisation Bound«, IEEE Trans. Neu. Net., Vol. 10, No. 5, strani 1075-1089, September 1999. [33] V. Cherkasskv, Y. Ma. »Practical Selection of SVM Parameters and Noise Estimation for SVM Regression«. Neural Netivorks, Vol. 17, No. 1, strani 113-126, Januarv 2004. [34] V. Cherkasskv, Y. Ma. »Selecting the Loss Function for Robust Linear Regression«. sprejeto za objavo v Neural Computation, spletna stran: http://www.ece.umn.edu/cherkass/pub.html. (obiskana: 8. januar 2005). [35] V. Cherkasskv, Y. Ma, »Multiple Model Estimation: A New Formulation for Predictive Learning«, poslano za objavo v IEEE Trans. Neu. Net, spletna stran: http://www.ece.umn.edu/cherkass/pub.html. (obiskana: 8. januar 2005). [36] P.F. Christoffersen, »Evaluating Interval Forecasts«, International Economic RevieiP, Vol. 39, strani 841-862, 1998. [37] C. Cortes in V. Vapnik, »Support Vector Networks«, Machine Eearning, Vol. 20, strani 273-297,1995. [38] P. Cortez, M. Rocha, J. Neves, »Evolving Time Series Forecasting Neural Network Models«, Proceedings of International Sjmposium on Adaptive Sjstems, Evolutionarj Computing and Probabilistic Graphical Models, IS AS 2001, Havana, Cuba, 2001, strani 84-91. [39] N. Cristianini in J. Shawe-Taylor, An Introduction Support Vector Machines and Other Kernel-based Eearning Methods, Cambridge: Cambridge University Press, 2000. [40] B. DasGupta in B. Hammer, »On Approximate Learning by Multi-Layered Feedforward Cirquits«, sprejeto za objavo v Theoratical Computer Science, spletna stran: http://www.informatik.uni-osnabrueck.de/barbara/papers/postscripts/np tcs.ps.gz. (obiskana: 1. februar 2005). [41] E. Daviš, »Two Machine Learning Textbooks: An Instructor's Perspective«, Artificial Intelligence, Vol. 131, 2001, strani 191-198. 235 LITERATURA [42] X. de Luna, »Prediction Inference for Time Series«, UmeA¥ Economic Studies 519, Umea University, Department of Economics., spletna stran [dosegljiva od] 2000: http:/ Avww.econ.umu.se/ues/ues519.pdf, (obiskana: marec 2005). [43] R.D. De Veaux, J. Schumi, J. Schweinsberg, L.H. Ungar, »Prediction Intervals for Neural Networks via Nonlinear Regression«, Technometrics, Vol. 40, strani 273-282, 1998. [44] D. Deaver, »Predictabilitv of Solid State Zener References«, Fluke Corporation, spletna stran: http://www.fluke.co.uk/comx/applications/deaver mso01.pdf. (obiskana: maj 2004). [45] M. Debevc, Analiza signalov DC referenčnega modula, Diplomsko delo, Fakulteta za elektrotehniko, Univerza v Ljubljani, Ljubljana, 1993. [46] F.X. Diebold, T. Gunther, A. Tay, »Evaluating Densitv Forecasts, with Applications to Financial Risk Management«, International Economic Hevieif, Vol. 39, strani 863-883, 1998. [47] A. Dobnikar, Nevronske mre^e, teorija in aplikacije, Radovljica: Didakta, 1990. [48] J. Drnovšek, Študij in gradnja napetostnega etalona — referenčnega vira napetosti na osnovi polprevodniške tehnologije, Doktorska disertacija, Fakulteta za elektrotehniko, Univerza v Ljubljani, Ljubljana, 1986. [49] J. Drnovšek, M. Lindič, D. Fefer, A. Jeglič, J. Bojkovski, »Software uncertaintv reduction of a voltage standard«, Proč. ofXIII IMEKO World Congress, Vol. 1, Torino 1994, strani 380-384. [50] M. Drobnič, Avtomatsko generianje nelinaernih modelov s stohastičnimi metodami. Doktorska disertacija, Fakulteta za računalništvo in informatiko, Univerza v Ljubljani, Ljubljana, 1998. [51] H. Drucker, C. J. C. Burges, L. Kaufman, A. Smola, V. Vapnik, »Support Vector Regression Machines«, V Advances in Neural Information Processing Sjstems, Vol. 9, uredniki: M. Mozer, M.Jordan, T. Petsche, Cambridge: MA, MIT Press, 1997, strani 155-161. [52] EA-4/02, Expression ofUncertainty of Measurement in Calibration, EA European co-operation for Accreditation, december 1999. [53] EAL-R2, Expression ofthe Uncertainty of Measurement Calibration, European cooperation for Acreditation of Laboratories, April 1997. [54] D. Esp, »Adaptive Logic Network for East Slovakian Electrical Load Forecasting«, Tdplače on EUNITE ivorld wide competition on electricity load prediction, EUNITE, [dostopna od] November 2001, spletna stran: http: / / neuron.tuke.sk/competitiom (obiskana: februar 2005). [55] R.-E. Fan, P.-H. Chen, C.-J. Lin, Working Set Selection Using Second Order Information for TrainingSVM, Technical report, Department of Computer Science, National Taiwan Universitv, 2005, spletna stran: http://www.csie.ntu.edu.tw/~cjlin/papers/quadworkset.pdf, (obiskana: junij 2005). [56] A.M. Fraser, H.L. Swinney, »Independant Koordinates for Strange Attractor from Mutual Information«, PhjsicalRevieivA, Vol. 33, No. 2, strani 1134-1140. 236 LITERATURA [57] J. Faraway in C. Chatfield, »Time-Series Forecasting with Neural Networks: A Comparative Study Using the Airline Data«, Applied S'tatistics, Vol. 47, strani 231-250, 1998. [58] R. Fernandez, »Predicting Time Series with a Local Support Vector Regression Machine«, Proč. ACAI99, 1999. [59] P.A. Flach, »On the State of the Art in Machine Learning: A Personal Review«, Artificial Intelligence, Vol. 131, 2001, strani 199-222. [60] R. Fletcher, PracticalMethods of Optimi^ation, John Willey and Sons, New York, 1989. [61] FLUKE, Application Note, Setting Neip Standards for DC Voltage Maintenance Sjstems, Fluke Corporation, 2000. [62] FLUKE, Application Note, A Practical Approach to Maintaining DC Reference Standards, Fluke Corporation, 2000. [63] FLUKE, Instruction Manual, 732B/ 734A DC Reference Standard, PN 869321. March 1992, Rev.3,1997. [64] FLUKE, Technical Data, Direct Voltage Maintenance Program for Fluke 732 and 734 DC Reference Standards, Fluke Corporation, 2002. [65] P. Frasconi, M. Gori, »Computational Capabilities of Local-Feedback Recurrent Networks Acting as Finke Machines«, IEEE Trans. Neu. Net., Vol. 7, No. 6, strain 1521-1525, 1996. [66] H. Friedman in W. Stuetzle, »Projection Pursuit Regression«, J. ofthe American Statistical Association, Vol. 76, strani 817-823, 1981. [67] J. H. Friedman in B. E. Popescu, »Gradient Directed Regularization«, Jerome. H. Friedman, spletna stran [dostopna od] Februar 2004: http://www-stat.stanford.edu/~jhf/ftp/pathlite.pdf. (obiskana 8. marec 2005). [68] J. Gama, »Modelling the Bank Client Behaviour Using Functional Trees«, T"plače ofTd EUNITE vuorld wide competition on the bank client behaviour prediction, EUNITE, [dostopna od] November 2001, spletna stran: http://neuron.tuke.sk/competition. (obiskana: februar 2005). [69] J.B. Gao, Y.H. Cao, J.M. Lee, »Principal Component Analvsis of 1/f Noise«, Phjs. Lett. A, Vol. 314, strani 392-400, 2003. [70] N. Garcia, A. Damask, S. Schwarz, Phjsicsfor Computer Science Students with Emphasis on Atomic and Semiconductor Phjsics, 2nd Edition, Springer, 1998. [71] N.A. Gershenfeld in A. S. Weigend, Time series prediction: Forecasting thefuture and understanding the past, Reading MA: Addison-Wesley Publishing Companv, 1992. [72] C.L. Giles, S. Lawrence, A.C. Tsoi, »Noisy Time Seiries Prediction using a Recurrent Neural Network and Grammatical Inference«, Machine Learning, Vol. 44, No. V2, 2001, strani 161-183. 237 LITERATURA [73] P.W. Goldberg, C.K.I. Williams, CM. Bishop, »Regression with Input-dependent Noise: A Gaussian Process Treatment«. V Advances in Neural Information Processing Systems, Vol. 10, uredniki: M.I.Jordan, M.J. Kearns, S.A. Solla, Cambridge, MA: MIT Press, 1998. [74] P. Grassberger, T. Schrieber, C Schaffrath, »Nonlinear Time Sequences Analvsis«, International Journal of Bifurcation and Chaos, Vol. 1, No. 3, strani 521-47, 1991. [75] A. Gretton, A. Doucet, R. Herbrich, P. Ravner, B. Scholkopf, »Support Vector Regression for Black-Box Svstem Identification«, 11 th IEEE Workshop on Statistical Signal Processing, IEEE Signal Processing Societv, Piscataway, NY, strani 341-344, 2001. [76] CA. Hamilton, L.W. Tarr. »Projecting Zener DC Reference Performance between Calibrations«, VMetrix, spletna stran http://\vww.VMetrix.com. (obiskana: januar 2004). [77] CA. Hamilton, »Josephson Voltage Standards«, Rev. S ti. Instrum., Vol. 71, strani 3611-3623, 2000. [78] B. Hammer in J. Steil, »Tutorial: Perspektives on Learning with RNNs«, ESSAN'2002 Proceedings — European Symposium on Artificial Neural Netivorks, Burges, Belgium, april 2002, strani 357-368, spletna stran: http://www.dice.ucl.ac.be/Proceedings/esann/esannpdf/es2002-200.pdf (obiskana: junij 2004). [79] B. Hammer in T. Villmann. »Mathematical aspects of neural networks«. European Sjmposium on Artificial Neural Netivorks'2003, D-side publications, 2003, urednik M. Verlevsen, strani 59-72, spletna stran: http: / / www.informatik.uni-osnabrueck.de/barbara/papers/postscripts/math esann.ps.g2. (obiskana: junij 2004). [80] X. Han, G. N. Stenbakken, F. J. Von Zuben, H. Engler, »A Comprehensive Approach — Neural Network in the Development of Nonlinear Empirical Error Modelling«, Proč. of WSEST99 (Workshop on SWEmbedded Sjstems), november 1999, strani 43-48. [81] B.E. Hansen, »Interval Forecasts and Parameter Uncertainty«, spletna stran [dosegljiva od] avgust 2004: http://www.ssc.wisc.edu/~bhansen/papers/forecast.html. (obiskana: april 2005). [82] P.T. Harju, Advances in Poljnomial Predictive Filtering: Theory, Design, and Applications, Thesis for the degree of Doctor of Technologv, Espoo 1997/Report 21. [83] S. Havkin, Neural netivorks — a Comprehensive Foundation, Prentice Hali International Inc., 1999. [84] S. Havnes, »Achieving an Ultra Stable Reference for Modern Standards and Calibration Instmmzntztion«, John Fluke Mf>. Co., Inc. F0082A-03U870I:SE:EN, strani 1-5. [85] R. Hecht-Nielsen, Neurocomputing, HNC, Inc. and Universitv of California, San Diego: Addison-Wesley Publishing Companv, 1990. [86] A.V. Holden, Chaos, Nonlinear Science: Theory and Applications, Manchester: Manchester Universitv Press, 1992. [87] P. Horowitz, W. Hill, The art of electronics, Cambridge: Cambridge Universitv Press, 1990, strani 1025-1026. 238 LITERATURA [88] HP 3456A Digital Voltmeter Operating Manual, HP part number 03456-9006, (Contents include: General information, Specifications and detailed operating and user instructions with practical examples), Hewlett-Packard Company. [89] HP 3458A Operating Programing and Configurations Manual, Specifications, Hewlett-Packard Company, May 1988. [90] C.-W. Hsu, C.-C. Chang, C.-J. Lin, A Practical Guide to Support Vector Classification, spletna stran: http: / /www.csie.ntu.edu.tw/—cjlin /papers /guide / guide.pdf. (obiskana maj 2005). [91] S. Hu in J. Wang, »Global Stability of a Class of Discrete-Time Recurrent Neural Networks«, IEEE Trans. Circ. Sjst.-I: Fund. Theory Appl, Vol. 49, No. 8, strani 1104-1117, 2002. [92] KJ. Hunt, G.R. Invin, K. Warwick (uredniki), Neural Netmrk Engineering in Djnamic Contrl Sjstems, Advances in Industrial Control, Springer, 1995. [93] J-T.G. Hwang in A.A. Ding, »Prediction Intervals for Artificial Neural Networks«, Journal of the American StatisticalAssociation, Vol. 92, strani 748-757, 1997. [94] ISO/TAG 4/WG 3, Guide to the Expression ofUncertainty in Measurement (GUM), International Organization for Standardization, lst edition, 1993. [95] J. Jeong, J.C. Gore, B.S. Peteron, »A Method for Determinism in Short Time Series and its Application to Stacionary EEG«, IEEE Trans. Biomed. Eng, Vol. 49, No. 11, strani 1374-1379,2002. [96] T. Joachims, »Making large-Scale SVM Learning Practical«. V Advances in Kernel Methods -Support Vector'Learning, uredniki: B. Scholkopf, C. Burges, A. Smola, MIT Press, 1999. [97] B. Jorgensen in P.X.-K. Song, Stationarj state space modelsfor longitudinal dat, Research report #9, Department of Statistics and Demography, Odense University, Denmark, spletna stran [dosegljiva od] 1998, http://www.stat.sdu.dk/oldpublications/pspdf/RR9.ps> (obiskana: junij 2002). [98] Josephson Voltage Standard. Electricitj and Magnetism, NMi, spletna stran: http://www.nmi.nl/english/science calibration/electricitv/josephson main.htm. (obiskana: januar 2004). [99] A. Katkov, J. Niemever, R. Behr, »Possible Direct Measurement of Standard Cells with a Josephson Voltage Standard«, Metrologia, Vol. 36, 1999, strani 473-476. [100] R. Kletke, »Maintaining 10 VDC at 0.3 Ppm or Better in Your Laboratory«, Fluke Corporation, spletna stran: http: / /www.fluke.com /Download/Calibrators Zaug96pp2.pdf. (obiskana: maj 2003). [101] I. Kononenko, Strojno učenje, Založba FE in FRI, Ljubljana, 2005. [102] A. Kowalczyk, A.J. Smola, R.C. Williamson, »Logic, trees, and kernels«, Journal ofMachine Eearning Research, sprejet za objavo, spletna stran: http://users.rsise.anu.edu.au/~smola/papers/unpubKowSmoWil03.pdf. (obiskana: maj 2005). 239 LITERATURA [103] P. Kranjec, Programsko krmiljenje heterogene skupine napetostnih referenc. Doktorska disertacija, Fakulteta za elektrotehniko, Univerza v Ljubljani, Ljubljana, 1999. [104] P. Kranjec, D. Fefer, A. Jeglič. »A Group Self-controlled Solid-state Voltage reference source«, Measurement, Vol. 23, strani 247-255, 1998. [105] S.C. Kremer, »On the Computational Power of Elman-Style Recurrent Network«, IEEE Trans. Neu. Net, Vol. 6, No. 4, strani 1000-1004, Julij 1995. [106] V. Križman, Avtomatsko odkrivanje strukture modelov dinamičnih sistemov, Doktorska disertacije, Fakulteta za računalništvo in informatiko, Univerza v Ljubljani, Ljubljana, 1998. [107] D. Labate, F. Canavero, A. De Marchi, »A Comparison of Fractal Dimension and Spectrum Coefflcient Characterization of 1/f Noise«, Letter to Editor, Metrologia Vol. 31, strani 51-53, 1994. [108] A. Lendasse, E. Oja, O. Simula, M. Verlevsen. »Time Series Competidon: CAT Benchmark«, IJCNN'2004 Proceedings — International Joint Conference on Neural Networks, Budapest, Hungarv, IEEE, Julij 2004, strani 1615-1620. [109] D. Lebedev, J. Steil, H. Ritter, »Real Time Path Planning in Dvnamic Environment a Comparison of Three Neural Network Models«, Proč. IEEE Int. Con/. Sjstems, Man, and Cybernetics, Washington, strani 3408-3413, 2003. [110] H.X. Li, C.L. P. Chen, »The Equivalence between Fuzzy Logic Svstems and Feedfonvard Neural Networks«, IEEE Trans. Neu. Net., Vol. 11, No. 2, strani 356-365, Marec 2000. [111] T. Lin, B.G. Horne, P. Tino, C.L. Giles, »Learning Long-Term Dependences in NARX Recurrent Neural Networks«, IEEE Trans. Neu. Net., Vol. 7, No. 6, strani 1329-1338, November 1996. [112] M. Lindič, Primerjalna analiza delovanja statističnega in sledilnega algoritma v enosmernem napetostnem referenčnem modulu, Magistrsko delo, Fakulteta za elektrotehniko in računalništvo, Univerza v Ljubljani, Ljubljana, 1993. [113] Linear Technology, LTZ1000/LTZ1000A Ultra Precision Reference, technical description, Linear Databook 1990, 1990, strani 3-9 - 3-15. [114] L.X. Liu, T.Y. Sim, V.K.S. Tan, H.A. Chua, K.H. Lam, »Mathematical Model to Approximate the Response of a Zener Celi Output Under Varving Environmental Conditions«, Metrologia, Vol. 37, strani 213-218, 2000. [115] L. Ljung, »Black-box Models form Input-output Measurements«, Proč. ofIEEE Instrumentation and Measurement Technology Conference, Budapest, Hungarv, May 21-23, 2001, strani 138- 146. [116] J.P. Lo-Hive, D. Revmann, G. Geneves, »Using 10 V Josephson Voltage Standards to Estimate the Uncertainty of Zener Voltage References as Traveling Standards«, IEEE Trans. Instr. Meas., Vol. 48, No. 2, strani 253-256, April 1999. [117] S. Makridakis, »The Art and Science of Forecasting«, International Journal ofForecasting, Vol. 2, strani 19-35, 1986. 240 LITERATURA [118] B. Mandelbrot, J.W. Van Ness, »Fractional Brownian Noises and Applications«, SIAM. Rep., Vol 10, No. 4, strani 422-436, 1968. [119] T. Masters, Neural, Novel <& HjbridAlgorithmsfor Time Series Prediction, John Wiley & Sons, 1995. [120] D. Matko, Identifikacije, Univerza v Ljubljani, Fakulteta za elektrotehniko, 1992. [121] D. Mattera in S. Havkin, »Support Vector Machines for Dynamic Reconstruction of a Chaotic System«, V Advances in KernelMethods — Support Vector Learning, urediniki: B. Scholkopf, C.J.C. Burges, A.J. Smola, Cambridge, MA, MIT Press, strani 211-242, 1999. [122] Mednarodni slovar osnovnih in splošnih i^ra^ov s področja meroslovja. Urad za standardizacijo in meroslovje, Ljubljana, 1999. [123] J. McNames, »A Nearest Trajectory Strategy for Time Series Prediction«, Proč. of International Workshop on Advances Black-Box Techniquesfor Nonlinear Modelling, Katholicke Univerisiteit Leuven, Belgium, 1998, strani 112-128. [124] D. Michie, D.J. Spiegelhalter, C.C. Tavlor, Machine Learning Neural and Statistical Classification, NY: Ellis Horwood; spletna stran [dosegljiva od 1994],: http://www.amsta.leeds.ac.uk/-charles/statlog/. (obuskana: Junij 2004). [125] I. Miller in M. Miller, John's E. Freund's Mathematical Statistics, 6* Edition, Prentice Hali, 1999. [126] T. Mitchell, Machine Learning, Boston, MA: McGraw-Hill, 1997. [127] S. Mukherjee, E. Osuna, F.Girosi. »Nonlinear Prediction of Chaotic Time Series Using a Support Vector Machine«, Neural Networks for Signal Processing VII - Proceedings ofthe 1997 IEEE Workshop, uredniki: J. Principe, L. Gile, N. Morgan, E. Wilson, IEEE, New York, 1997. [128] K.R. Miiller, A.J. Smola, G. Ratsch, B. Scholkrof, V. Vapnik, »Predicting Time Series with Support Vector Machines«, VAdvances in Kernel Methods - Support Vector Learning, uredniki: B.Scholkopf, CJ.C. Burges, A.J. Smola, Cambridge, MA: MIT Press, 1999, strani 243-254. [129] I. Nančovska, Metode fraktalne teorije v analizi merilnih signalov, Magistrsko delo, Fakulteta za računalništvo in informatiko, Univerza v Ljubljani, Ljubljana, 1996. [130] I. Nančovska, A. Jeglič, P. Kranjec, D. Fefer, »Comparison Between DC Voltage Reference Source Time Series and Fractional Brownian Mmotions or Distinguishing Between Deterministic Chaos and Randomness«, V Fractalfrontiers, Uredniki: M.M. Novak, T.G. Dewey, Singapore [etc.]: World Scientific, 1997, strani 475. [131] I. Nančovska, F. Solina, A. Jeglič, D. Fefer, »Deterministic Chaos and Noise in the DC Voltage Reference Source Signals«, Nem measurements - challenges and visions, Urednik: J. Halttunen, Vol. 4A, Topic 4, Helsinki: Finnish Society of Automation, 1997, str. 149-154. [132] I. Nančovska, P. Kranjec, A. Jeglič, D. Fefer, »Čase Study ofthe Predictive Models Used for Improvement of the Stability of the DC Voltage Reference Source«, IEEE Trans. Instr. Meas. Vol. 47, No. 5, strani 1487-1491, December 1998. 241 LITERATURA [133] I. Nančovska, L. Todorovski, A. Jeglič, D. Fefer, »Deterministic Predictive Models for DC Voltage Reference Source Control«, IEEE Trans. Ind. Elect., Vol. 47, No. 1, strani 186-192, Februar 2000. [134] I. Nančovska, »Support Vector Regression for Voltage Reference Elements Monitoring«, VTMS/01 Proceedings. IEEE International Workshop on Virtual and Intelligent Measurement Sjstems, Budapest, Hungarv, May 19-20, 2001, strani 46-50. [135] I. Nančovska Serbec, D. Fefer, »Black-box Models for Reference Voltage Monitoring«, Proceedings ofIASTED International Conference Applied Simulation and Modelling June 28-30, 2004, Rhodes, Greece. [136] K. S. Narendra, K. Parthasarathv, »Identification and Control of Dynamical Systems Using Neural Networks«, IEEE Trans. Neu. Net., Vol. 1, No. 1, strani 4-27, marec 1990. [137] National Semiconductor, IM129/LM329 Precision Reference, Technical description, Marec 2000. [138] M. E. J. Newman, »Power Laws, Pareto Distributions and Zipf s Law«, DOL cond-mat/0412004, arXiv, spletna stran [dosegljiva od] 4. december 2004: http://arXiv.org/abs/cond-mat/0412004. (obiskana: 20. Marec 2005). [139] D.A. Nix in A.S. Weigend, »Learning Local Error Bars for Nonlinear Regression«, V Advances in Neural Information Processing Sjstems, Vol 7, uredniki: G: Tesauro, D. Tuoretzky, T. Leen, ambrigde, MA: The MIT Press, strani 489-496, 1995. [140] S. J. Ovaska, »Predictive Signal Processing in Instrumentation and Measurement: A Tutorial Review«, IMTC/97 Proceedings ofIEEE Instrumentation and Measurement Conference, Ottawa, Canada, May 19-21, 1997, strani 48-53. [141] A.G. Parlos, S:K. Menon, A.F. Atiya, »An Algorithmic Approach to Adaptive State Filtering Using Recurrent Neureal Networks«, IEEE Trnas. Neral. Net., Vol. 12, No. 6, strani 1411-1432, 2001. [142] M. Parvis, »Training and Use of Neural Networks in the Presence of Uncertainties«, Proceeding of ETIMVIS'98-1998 IEEE International Workshop on Emerging Technologies, Intelligent Measurement and Virtual Systems for Instrumentation and Measurement, 1998, strani 11-19. [143] D.T. Pham, X. Liu, Neural Networks for Identification, Prediction and Control, London, GB: Springer-Verlag, 1995. [144] J. Platt, »Fast Training of Support Vector Machines Using Sequential Minimal Optimization«, V Advances in KernelMethods - Support Vector Learning, uredniki: B. Scholkopf, C.J.C. Burges, AJ. Smola, Cambridge, MA: MIT Press, 1999, strani 185-208. [145] M. Pontil, S. Mukherjee, F. Girosi, »On the Noise Model of Support Vector Machine Regression«, Proč. of Algorithmic Learning Theorj 2000, ALT 2000, strani 316-324, spletna stran: http://cbcl.mit.edu/pubUcations/theory-learning.html, (obiskana maj 2005). [146] A.S. Poznvak, W. Yu, E.N. Sanchez, J.P: Perez, »Nonlinear Adaptive Trajectory Tracking Using Dvnamic Neural Network«, IEEE Trans. Neu. Net., Vol. 10, No. 6, strani 1402-1411, November 1999. 242 [147] W.H. Press, B. P. Flannery, S.A. Teukolsky, W. T. Vetterling, Numerical Recipes, Cambridge, MA: Cambridge University Press, 1986. [148] J. G. Proakis, D. G. Manolakis, Digital Signal Processing. Princip les, Algorithms and Applications, 3rd edition, Newjersey: Prentice Hali, 1996. [149] A. Provenzale, L.A. Smith, R. Vio, G. Murate, »Distinguishing Between Low-Dimensional Dynamics and Randomness in Measured Time Series«, Phjsica D, Vol. 58, strani 31-49, 1992. [150] R. Rape, Študija motnosti uporabe nevronskih mre\ %a kompleksne obdelave podatkov v metrologiji, Doktorska disertacija, Fakulteta za elektrotehniko, Univerza v Ljubljani, Ljubljana, 1996. [151] L. Ralaivola in F. d'Alche-Buc, »Dynamical Modeling with Kernels for Nonlinear Time Series Prediction«, spletna stran: http: / /eprints.pascal-network.org/archive/00000484/01 /NIPS2003 AA17.pdf. (obiskana junij 2005). [152] B.D. Ripley, »Statistical aspects of neural networks«, V Netivorks and Chaos: Statistical and Probabilistic Aspects, uredniki: O.E. Barndorff-Nielsen, J.L. Jensen, W.S Kendall, London: Chapman and Hali; 1993, strani 40-123. [153] M. Robnik-Sikonja in I. Kononenko, »Theoretical and Empirical Analvsis of RelieF and RReliefF«, Machine Tearning Journal, Vol. 53, strani 23 — 69, 2003. [154] S. Ruping, MjSVM-Manual, Universitv of Dortmund, Lehrstuhl Informatik 8, spletna stran s programsko opremo: http://www-ai.cs.uni-dortmund.de/SOFTWARE/MYSVM/. (obiskana: januar 2000). [155] S. Ruping, »SVM Kernels for Time Series Analysis«, LLWA 01 - Tagungsband der GI- Workshop-Woche Ternen - Lehren - Wissen — Adaptivitat, uredniki: R. Kiinkenberg, S. Ruping, A. Fick, N. Henze, C. Herzog, R. Molitor, O. Schroder, Dortmund, Germanv, 2001. [156] W.S. Sarle, »Neural Networks and Statistical Models«, Proceedings ofthe Nineteenth Annual S AS Users Group International Conference, Cary, NC: SAS Institute, 1994, strani 1538-1550, spletna stran: ftp://ftp.sas.com/pub/neural/neurall.ps. (obiskana: Maj 2004). [157] W.S. Sarle, Neural Network FAQ (part 1..7), spletna stran [dosegljiva od] copvright 1998-2002. ftp://ftp.sas.com/pub/neural/FAO.html (obiskana: 2000-2004). [158] S. Sarkka, A. Vehtari, J. Lampinen, »Time Series Predicition by Kalman Smoother with Cross-Validated Noise Densitv«, IJCNN'2004 Proceedings — International Joint Conference on Neural Netivorks, Budapest, Hungarv, IEEE, Julij 2004, Winner ofthe Time Series Prediction Competition, The CATS Benchmark , spletna stran: http://www.lce.hut.fi/~ssarkka/pub/cats-final.pdf (obiskana: marec 2005). [159] U.D. Schiller in J J. Steil, »Analvzing the Weigh Dvnamics of Recurrent Learning Algorithms^ Neurocomputing, Vol. 63C, strani 5-23, 2005. [160] B. Scholkopf, P. L. Bardett, A. Smola, R. Williamson, »Support Vector Regression with Automatic Accuracy Control«, Proceedings of ICANN'98, Perspectives in Neural Computing, uredniki: L. Niklasson, M. Boden, T. Ziemke, Berlin, Springer Verlag, 1998, strani 1 lili 6. 243 LITERATURA [161] B. Scholkopf, P.L. Bardett, A. Smola, R. Williamson. »Shrinking the Tube: a New Support Vector Regression Algorithm«. V Advances in NeuralInformation Processing Sjstems, Vol. 11, uredniki: M.S. Kearns, S.A. Solla, D.A. Cohn, Cambridge, MA: MIT Press, 1999, strani 330-336. [162] B. Scholkopf, A.J. Smola,. R.C. Williamson, P.L. Barrlett, »New Support Vector Algorithms«, Neural' Computation, Vol. 12, strani 1207-45, 2000. [163] B. Scholkopf, A.J. Smola, Learning with Kernels: Support Vector Machines, Regulari^ation, Optimi^ation andBejond, Cambridge, MA: MIT Press, 2002. [164] S. Siegel, Nonparametrics statisticsfor the behaviouralsciences, McGraw-Hill Kogakusha, Tokyo, stran 312, 1956. [165] H.T. Siegelmann in E.D. Sontag, »On the Computational Power on Neural Networks«, Journal ofComp. Sjstems in Science. Vol. 50, No. 1, strani 132 — 150, 1995. [166] J. Sjoberg, Q. Zhang, L. Ljung, A. Benveniste, B. Deylon, P.Y. Glorennec, H. Hjalmarsson, A. Juditsky, »Non Linear Black Box Modeling in System Identification: an Unified Overview«, Automatica, Vol. 33, strani 1691-1724, 1997. [167] J. Sjoberg, »A Nonlinear Grey-Box Example Using a Stepwise System Identification Approach«, Podobna verzija članka je objavljena v Proceedings ofthe 11th IFAC Sjmposium on Identification, Santa Barbara, USA, 2000, spletna stran: http: / /www.s2.chalmers. se / ~ s j oberg/papers /ifacOO.ps. (obsikana: februar 2005). [168] A.J. Smola, Learning mth Kernels, PhD thesis, Technische Universitat Berlin, GMD Research Series No.25, 1998. [169] A.J. Smola in B. Scholkopf, A Tutorial on Support Vector Regression, NeuroCOLT Technical Report NC-TR-98-030, Royal Holloway College, University of London, UK, 1998. [170] A.J. Smola, N. Murata, B. Scholkopf, K.R. Miiller, »Asymptotically Optimal Choice of e -loss for Support Vector Machines«, Proč. ofICANN'98, Perspectives in Neural Computing, uredniki: L. Niklasson, M. Boden, T. Ziemke, Berlin, Springer Verlag, 1998, strani 105-110. [171] A.J. Smola in S.V.N. Vishwanathan, »Hilbert Space Embeddings in Dynamical Systems«, Proceedings ofthe 13th IFAC sjmposium on sjstem Identification, IFAC, 2003, spletna stran: http://users.rsise.anu.edu.au/~smola/. obiskana maj 2005. [172] AJ. Smola in B.Scholkopf, »A Tutorial on Support Vector Regression«, Statistics and Computing, Vol. 14, strani 199-222, 2004. [173] P. Sollich, Can Gaussian Process Regression be Made Robust Against ModelMismatch?Technical report, spletna stran: http://www.mth.kcl.ac.Uk/~psollich/publications/node30.html#GP max evidence NIP S, (obiskana: September 2004). [174] P. Sollich, C.K.I. Williams, »Using the Equivalent Kernel to Understand Gaussian Process Regression«, ~V Advances in Neural Information Processing Sjstems, Vol. 17, sprejet za objavo, spretna stran: http://www.mth.kcl.ac.uk/~psollich/publications/. (obiskana: januar 2005). 244 LITERATURA E.D. Sontag, »Feedforward Nets for Interpolation and Classification«, Journal of Computer and Sjstem Sciences, Vol. 45, strani: 20-48, 1992. E.D. Sontag, »Recurrent Neural Networks: Some Systems-Theoretic Aspects«, V Dealing vvith Compkxity: a Neural Netvvork Approach, urednik: M. Karny, K. Warwick, V. Kurkova, London: Springer-Verlag, 1997, strani: 1-12. E.D. Sontag, »A Learning Result for Continuous-time Recurrent Neural Networks«, Sjstems and Control'Letters, Vol. 34, strani: 151-158, 1998. E.D. Sontag, Y. Qiao, »Further Results on Controllability of Recurrent Neural Networks«, Sjstems and Control Letters, Vol. 36, strani: 121-129, 1999. E.D. Sontag, »VC Dimension of Neural Networks«, Neural Networks and Machine Learning, urednik: CM. Bishop, Berlin: Springer-Verlag, strani 69-95, 1998. E.D. Sontag, W. Maass, »Neural Systems as Nonlinear Filters«, Neural Computation, Vol. 12, strani 1743-1772, 2000. E.D. Sontag, »Some New Directions in Control Theory Inspired by System Biology«, Sjst. Biol, Vol. 1, No. 1, strani 9-18, junij 2004. P J. Spreadbury, »The Ultra-Zener — A Portable Replacement for the Western Celi?«, IEEE Trans. Instr. Meas., Vol. 40, No. 2, strani 343-346, April 1991. PJ. Spreadbury, »The Ultra-Zener ... Is It a Portable Replacement for the Western Celi?«, Meas. Sci. Technol, Vol. 1, strani 687-690, 1990. J J. Steil, »Local Input-output Stability of Recurrent Networks with Time-varying Weights«, Proč. ESANN 2000, urednik: M. Verleysen, strani 281-286, 2000. J.J. Steil, G.C. Cawley, T. Villmann, »Guest Editorial: Trends in Neurocomputing at ESANN 2004«, Neurocomputing (ESANN 2004 SpecialIssue), Vol. 64C, strani 1-4, 2005. J.J. Steil, »Memory in Backpropagation-Decorrelation 0(N) Efficient Online Recurrent Learning«, sprejeto za ICANN 05, spretna stran: http:/ /www.techfak.uni-bielefeld.de/~jsteil/body publications.html, (obiskana: maj 2005). Z. Svetik, M. Lindič, R. Lapuh. »Nacionalni etalon električnega toka«, SIQ, spletna stran: http://www.siq.si/fileadmin/siq/pdf/meroslovje/Tok.pdf. (obiskana: maj 2003). StatSoft, Inc., Electronic Statistics Textbook, Tulsa. OK, StatSoft, spletna stran: http://www.statsoft.com/textbook/stathome.html. (obiskana: September 2004). J.A.K. Suvkens, »Nonlinear Modelling and Support Vector Machines«, Proceedings ofthe IEEE International Conference on Instrumentation and Measurement Technology (IEEE-IMTC 2001 State-of-the-Art lecture), Budapest, Hungary, May 2001, strani 287-294. J.A.K. Suykens. »Support Vector Machines : a Nonlinear Modelling and Control Perspective«, European Journal of Control, Special Issue on fundamental issues in control, Vol. 7, No. 2-3, strani 311-327, 2001, spletna stran: ftp://ftp.esat.kuleuven.ac.be/pub/SISTA/suykens/reports/lssvm 01 42.ps.gz (obiskana: februar 2005). 245 LITERATURA [191] P. Šuhel, Industrijska elektronika — operacijski ojačevalnik v sistemih, Ljubljana, Maribor, Mengeš: D design, 1995, stran 36. [192] P. Suhel, A. Kralj, Sistemi industrijske elektronike, Gradniki in sestavi. 2. izd. Ljubljana, Fakulteta za elektrotehniko in računalništvo, 1994. [193] Y. Tang, R. Steiner, J. Sims, »Comparison of Two Josephson Array Voltage Standard Svstems Using a Set of Zener References«, IEEE Trans. Instr. Meas.. Vol. 48, No. 2, strani 262-265, April 1999. [194] Y. Tang, N. B. Belecki, J. F. Mayo-Wells, »A Practical Josephson Voltage Standard at One Volt«, A Centurj ojExcellence in Measurements. Standards. and Technology - A Chronicle ofSelected NBS/NISTPublications, 1901-2000, urednik D.R. Lide, strani 315-318. [195] Z. Tang in PA. Fishwick, »Feed-Forward Neural Nets as Models for Time Series Forecasting«, ORSA Journal ofComputing, Vol. 5, No. 4, strani 374-386, 1993. [196] L.W. Tarr in CA. Hamilton, »Predicting Zener DC Reference Performance between Calibrations«, NCSL International 2003 Workshop and Sjmposium, Tampa, FL, USA, 2003. [197] Tasc, Inc. (za NIST), »Economic Impact Assessment of NISTs Josephson Volt Standard Program«, Planning Report 01-1, julij 2001. [198] J. Tashman, J. Hoover, »Diffusion of Forecasting Principles: An Assessment of Forecasting Software Programs«, V Principles of Forecasting: A Handbookfor Researchers and Practitioners, urednik: J. S. Armstrong, Boston: Kluwer Academic Publishers, 2001, strani 651-676. [199] J. Thailer, »Some Comments on the Correlation dimension of l/P noise«, Phjsical Letters A, Vol. 155, strani 480-493, 1991. [200] R. Tibshirani, »A Comparison of Some Error Estimates for Neural Network Models«, Neural Computation, Vol. 8, strani 152-163, 1995. [201] P. Tino in B. Hammer, »Architectural Bias in Recurrent Neural Networks - Fractal Analvsis«, Neural Computation, Vol. 15, No. 8, strani 1931-1957, 2003. [202] A.A. Tsonis, Chaos-From Theorj tp Applications, New York: Plenum Press, 1992. [203] L. Todorovski, Uporaba predznanja pri modeliranju dinamičnih sistemov ^ avtomatskim odkrivanjem enačb, Doktorska disertacija, Fakulteta za računalništvo in informatiko, Univerza v Ljubljani, Ljubljana, 2003. [204] W.A. Truccolo, G. Rangarajan, Y. Chen, M. Ding, »Analvzing Stability of Equilibrium Points in Neural Networks: A General Approach«, NeuralNetmrks, Vol. 16, strani 1453-1460,2003. [205] I. Tsochantaridis, T. Hofmann, J. Joakims, Y. Altun, »Support Vector Learning for Independant and Structured Output Spaces«, ICML, 2004, spletna stran s programsko opremo: http://www.cs.cornell.edu/People/tj/svm%5Flight/svm struct.html. (obsikana maj 2005). 246 LITERATURA [206] S. T0ffner-Clausen. Sjstem Identification and Robust ControlA Čase Studj Approach, London: Springer-Verlag, 1996. [207] Urad Republike Slovenije %a meroslovje, spletna stran http://www.usm.m2t.si/. (obiskana: maj 2003). [208] L.G. Valiant, »A Theory of Learnable«, Communications on ACM, Vol. 27, No. 11, strani 1134-1145, November 1984. [209] T. Van Gestel, J. Suykens, D. Baestaens, A. Lambrechts, G. Lanckriet, B. Vandaele, B. De Moor, J. Vandewalle, »Financial Time Series Prediction Using Least Squares Support Vector Machines within the Evidence Framework, IEEE Transactions on NeuralNetvvorks, Special Issue on Neural Netivorks in Financial Engineering, Vol. 12, No. 4, strani 809-821, 2001. [210] V.N. Vapnik, The Nature of Statistical Learning Theory, N.Y.: Springer, 1995. [211] V.N. Vapnik, Statistical Learning Theorj, New York: Wiley, 1998. [212] V. N. Vapnik, S. Golowich, AJ. Smola, »Support Vector Method for Function Approximation, Regression Estimation, and Signal Processing«, V Advances in Neural Information Processing Sjstems, Vol. 9, uredniki: M. Mozer, M.Jordan, T. Petsche, Cambridge, MA: MIT Press, 1997, strani 281-287. [213] V. Verdult, J.A.K. Suykens, J. Boets, I. Goethals, B. De Moor, »Least Squares Support Vector Machines for Kernel CCA in Nonlinear State-Space Identification«, Proceedings ofthe 16th International Sjmposium on Mathematical Theory ofNetivorks and Sjstems (MTNS 2004), Leuven, Belgium, July 2004, spletna stran: ftp://ftp.esat.kuleuven.ac.be/pub/SISTA/goethals/kccamtns04.pdf. (obiskana: dec. 2004). [214] E. Wan, Fini te Impulse Response Neural Netivork mth Applictions in Time Series Prediction, PHD Dissertation, Stanford University, 1993, spletna stran: http://www.cse.ogi.edi/lericwan/FIR/fir.html, (obiskana: September 2000). [215] X. Wang, P. Whigham, D. Deng, M. Purvis, »Time-Line Hidden Markov Experts for Time Series Prediction«, Neural Information Processing-Letters andReviews, Vol. 3, No. 2, strani 39-48, 2004, spletna stran: http://www.nip-lr.info/V03N02/V03N02P3-39-48.pdf. (obiskana: nov. 2004). [216] Y. Wang, A New Approach to Fitting UnearModels in High Dimensional Spaces, PhD Thesis, Department of Computer Science, University of Waikato, spletna stran: http://www.cs.waikato.ac.n2/~ml/publications/2OOO/thesis.pdf. (obiskana 2003). [217] Y. Wang in I.H. Witten, »Modeling for Optimal Probability Prediction«, Proceedings ofthe Nineteenth International Conference on Machine Eearning (ICML2002), Sydney, Australia, uredniki: C. Sammut, A. Hoffmann, K. Morgan, San Francisco, California, strani 650-657, 2002. [218] WEKA, The Universitj ofWaikato, spletna stran [s programsko opremo za univerzitetno rabo]: http://www.cs.waikato.ac.nz/~ml/weka/index.html. (obiskana 2004). 247 LITERATURA [219] C.K.I. Williams, C.E. Rasmussen, »Gaussian Processes for Regression«, V Advances in Neural Information Processing Sjstems, Vol. 8, uredniki: D.S. Touretzky, M.C. Mozer, M.E. Hasselmo, Cambridge, MA: MIT Press, 1996, strani 514-520. [220] C.K.I. Williams, »Computation with Inflnite Neural Networks«, Neural Computation. Vol. 10, No. 5, strani 1203-1216, 1998. [221] C.K.I. Williams, »Prediction with Gaussian Processes: From Linear Regression to Linear Prediction and Beyond«, V Eearning in Graphical Models, urednik M.I. Jordan, Boston: Kluwer Academic Publishers, strani 599-621, 1998. [222] C.K.I. Williams, F. Vivarelli, »Upper and Lower Bounds on the Learning Curve for Gaussian Processes«, Machine Eearning, Vol. 40, No. 1, strani: 77-102, 2000. [223] TJ. Wit, »Measurements of the Temperature Dependence of the Output Voltages of Some Zener Diode Based Standards«, IEE Proc.-Sci. Meas. Technoi, Vol. 145, No. 4, strani 154-155, Julij 1998. [224] J. Wichard, M. Ogorzalek, »Iterated Time Series Prediction with Ensemble Models«, IJCNN'2004 Proceedings — International J oint Conference on Neural Netivorks, Budapest, Hungary, IEEE, Julij 2004. [225] I.A. Witten, E. Frank, Data Mining: PracticalMachine Eearning Tools and Techniques rvithjava Implementations, Morgan Kaufman Publishers, 2000. [226] M. Wojnarski, »Modelling the Bank Client Behaviour with LCF-C Neural Network«, Winner ofZ EUNITE worldmde competition on the bank client behaviour prediction, EUNITE, spletna stran [dosegljiva od] November 2002: http://neuron.tuke.sk/competition2, (obiskana: 1. marec 2005). [227] W.A. Wright, »Bayesian Approach to Neural-Network Modelling with Input Uncertainty«, IEEE Trans. Neu. Net, Vol. 10, No. 6, strani 1261-1270, November 1999. [228] R.A. Yaffe, M. McGee, Introduction to Time Series Analjsis and Forecasting with Applications of SAS and SPSS, Academic Press. Inc., 2000. [229] H. Yang, K. Huang, L. Chan, I. King, M.R. Lyu, »Outliers Treatment in Support Vector Regression for Financial Time Series Prediction«, Proč. 11 th International Conference on Neural Information Processing (ICONIP'2004), Lecture Notes of Computer Science, Science city, Calcutta, India, November 22-25, spletna stran: http://www.cse.cuhk.edu.hk/~lyu/paper pdf/SV-015-350.pdf. (obiskana: December 2004). 248 IZJAVA Izjavljam, da sem doktorsko disertacijo izdelala samostojno pod vodstvom mentorja prof. dr. Antona Jegliča, univ. dipl. inž. el. in somentorja prof. dr. Dušana Feferja, univ. dipl. inž. el.. Izkazano pomoč ostalih sem v celoti navedla v zahvali. V Ljubljani, 12. januar 2006 Irena Nančovska Šerbec