OVREDNOTENJE MAKROEKONOMSKIH NAPOVEDI ZA SLOVENIJO v OBDOBJU 1997-2009 Dr. Timotej Jagrič, Ekonomsko-poslovna fakulteta Univerze v Mariboru UDK: 330.101(497.4) JEL: C530, E370 Povzetek V prispevku smo analizirali kakovost makroekonomskih napovedih šestih institucij, ki redno objavljajo napovedi za Slovenijo. Analiza se osredotoča na oceno kakovosti napovedi realne in nominalne rasti BDP ter povprečne letne stopnje inflacije v obdobju 1997-2008. Rezultati analize ne dajejo »absolutnega zmagovalca«, kažejo pa na lastnosti posameznih napovedi. Testi so tudi pokazali, da imajo analizirani modeli strukturne pomanjkljivosti. Ne glede na vrstni red, ki ga oblikujemo na podlagi predstavljenih mer kakovosti, lahko sklenemo, da je še dosti prostora pri izboljšanju kakovosti modelov. Opazno je tudi, da so verjetno razvijalci modelov do zdaj dajali prednost zmanjševanju napak v napovedih, medtem ko so usklajenost pri gibanju napovedi in realizaciji pojava zanemarjali. Za učinkovito vodenje ekonomske politike je prav nazadnje omenjeno merilo zelo pomembno. Ključne besede: napovedi makroekonomskih spremenljivk, ekonomska politika, mere kakovosti in nepristranskosti abstract In this paper we analyze the forecast performance of macroeconomic variables for six institutions, which regularly publish the forecasts for Slovenia. The analysis is focused on the quality of forecast of real and nominal GDP growth and average growth rate of inflation for the period 1997 to 2009. The results are mixed and do not point at one most reliable forecast. The tests also reviled that the forecast models might have structural difficulties. Overall we can conclude, that there is a lot of room for further development of forecast models. The results also indicate, that the developers of forecast models placed greater emphasis to small overall forecast error of the models and less to the accuracy in the direction. For efficient economic policy however, the last property is of great importance. Key words: forecast of macroeconomic variables, economic policy, measures of predictive accuracy 1. uvod Vsak v prihodnost usmerjen ukrep nosilcev ekonomske politike, podjetij, gospodinjstev, delojemalcev ali delodajalcev, ki je izpeljan v negotovih razmerah, temelji na pričakovanjih in s tem neposredno ali posredno na napovedih gospodarskih gibanj. Odzivi ekonomskih subjektov na spremembe v pričakovanjih so lahko zelo raznoliki. Tako lahko napoved cikličnega obrata navzdol pri gospodinjstvih sproži večjo previdnost pri osebni in investicijski potrošnji. Odziv nosilcev ekonomske politike je odvisen od ciljev. Sprožijo se lahko kontraciklični ukrepi in pospeši se lahko delovanje avtomatskih stabilizatorjev, kar dvigne javno potrošnjo ob sočasnem zmanjšanju davčnih prihodkov. S takim ukrepanjem bi poskušala država delovati proti cikličnemu obratu. Če pa želijo nosilci ekonomske politike ohranjati ravnovesje javnih financ, bodo poskušali kompenzirati pričakovano izgubo davčnih prihodkov z zmanjšanjem izdatkov. Tako bodo sicer na kratek rok okrepili ciklični obrat, vendar lahko dolgoročno pripomorejo k močnejši rasti. Kadar so reakcije pri ekonomskih subjektih zaradi spremembe pričakovanj glede bodoče gospodarske aktivnosti sinhronizirane, ima kredibilna napoved pomemben učinek: glede na odziv ekonomskih subjektov je lahko napoved samoizpolnjujoča ali pa samouničujoča. Očitnojetorej,dajezaradivgraditvenapovedi vobnašanje ekonomskih subjektov zelo težko oceniti njeno kakovost (Diebold in Mariano 1995). Najenostavnejši način je seveda neposredna primerjava napovedi z realizacijo. Pri tem je dobra napoved tista, ki izkazuje visoko stopnjo ujemanja. Če napoved nima učinka na izid (npr. napoved vremena in dejansko vreme naslednji dan), je tak pristop ustrezen. Pri ekonomskih napovedih pa je nekoliko drugače: v ekstremnem primeru lahko napoved tako močno vpliva na ekonomske subjekte, da je realizacija osnovana na povsem drugačnih pogojih. Zato ex post primerjava ne kaže visoke stopnje ujemanja. Kljub temu taka napoved ni slaba ali nesmiselna, ker alternativne spremembe smeri dogodkov ni bilo mogoče predvideti. Še več, pri presoji kakovosti napovedi moramo tudi upoštevati, da imamo običajno opravka s pogojno napovedjo, ki je veljavna le ob določenih predpostavkah. Za majhno odprto gospodarstvo, kakršno je slovensko, se predpostavke običajno nanašajo na zunanje okolje (gospodarska gibanja v EU in ZDA, menjalni tečaji, cene surovin in energentov itd.) ter na ukrepe ekonomske politike znotraj države in v EU (gibanje obrestnih mer, davčne stopnje, itd.). Opredelitev zunanjega okolja je tako eden pomembnejših virov negotovosti za napovedi v majhnem odprtem gospodarstvu. Rezultat napovedi je odvisen tudi od strukture ekonometričnega modela. Le-ta zajema predpostavke o delovanju gospodarstva. Če so te neustrezne, bo napoved slaba, čeprav bo v posameznih primerih napaka enaka nič. Hkrati kažejo razlike med realizacijo in napovedjo, ki je sicer osnovana na ustreznih informacijah o zunanjem okolju, na slabosti v zgradbi ekonometričnega modela. Do težav prihaja tudi iz naslova cilja napovedovanja. Nosilci ekonomske politike in institucije, ki pripravljajo napovedi, lahko zasledujejo različne cilje. To se izraža pri izbiri funkcije izgube - izbiri merila za ocenjevanje odklonov napovedi od realizacije. Za racionalno (neodvisno) napoved je pomembno, da so napake minimalne, pri čemer so pozitivne in negativne napake enako utežene, kar implicira simetrično funkcijo izgube. V praksi je pogosto, da imajo napake različno težo. Tako je lahko zamujena napoved obrata navzdol za nosilce ekonomske politike večji strošek kakor zamujena napoved obrata navzgor. V takem primeru bodo favorizirane previdnejše napovedi. Posledično to pomeni, da asimetrična funkcija izgube bolj sankcionira precenjene napovedi (negativne napake). Tudi monetarna politika, ki zasleduje cilje cenovne stabilnosti, ima običajno asimetrično funkcijo izgube. Vendar je pri realnem BDP (ali potencialnem outputu) ta funkcija asimetrična v nasprotno stran: podcenjena napoved realne rasti BDP (in tudi inflacije) ima večjo težo v funkciji izgube in je zato bolj sankcionirana. V navedenih primerih je treba pri evalvaciji kakovosti napovedi upoštevati različne funkcije izgube. Ker imajo nosilci ekonomske politike zelo različne funkcije izgube za vsako od ključnih makroekonomskih spremenljivk, to pomeni, da v razpravi o oceni kakovosti napovedi prevladuje predvsem argumentiranje izbora ustrezne funkcije izgube (Diebold 2001). Zadeva je še toliko boljzapletena, ker statistične lastnosti napak, ocenjenih na podlagi asimetričnih funkcijizgube, niso povsem dorečene (Christoffersen in Diebold 1996, 1997). To pa ne velja za ocenitev napovedi z upoštevanjem simetrične funkcije izgube, ki je statistično zadovoljivo analizirana in dopušča primerjavo v času in med državami. Zaradi navedenih izzivov pri ovrednotenju bomo v nadaljevanju predpostavljali le simetrično funkcijo izgube. Hkrati dosedanja razprava kažejo, da ni absolutnega merila kakovosti napovedi. Kot smiselni pristop se zato ponuja analiza, pri kateri poskušamo ovrednotiti napovedi različnih institucij v različnih časovnih obdobjih z upoštevanjem večjega števila statističnih meril kakovosti napovedi. Struktura analize sledi raziskavam, ki so bile že opravljene za druge države (Andersson in dr. 2007, Baumgartnet 2002, Batchelor 2001, Ash 1998, WIFO 2000, Blix 2001, Lenain 2002, Öller in Barot 2000). V drugem poglavju bomo predstavili lastnosti zbirke podatkov. Tretje poglavje je namenjeno zgoščenemu pregledu uporabljenih metod. Rezultati so predstavljeni v četrtem poglavju. Peto poglavje predstavlja ključne ugotovitve. 2. ZBIRKA PODATKOV Analiza, predstavljena v nadaljevanju, je izdelana za napovedi, ki pokrivajo obdobje od leta 1997 do vključno 2009. S tem je zajeto obdobje, v katerem je slovensko gospodarstvo prešlo celoten poslovni ciklus (dejansko število obratov in časovna razporeditev je stvar razprave, saj še vedno nimamo uradnega datiranja obratov). Ker podatki zajemajo tudi leti 2008 in 2009, bo mogoče analizirati tudi učinke svetovne finančne krize in posledično recesije. Podatki so zbrani za več institucij, ki se ukvarjajo z napovedovanjem gospodarske aktivnosti oz. posameznih ključnih makroekonomskih spremenljivk za Slovenijo. Tako bomo upoštevali tudi vpliv ciljev, ki jih zasledujejo različne institucije. V zbirko so vključeni: Urad za makroekonomske analize in razvoj(UMAR), Banka Slovenije (BS), Služba za konjunkturo in ekonomsko politiko pri Gospodarski zbornici Slovenije (SKEP), Evropska komisija (EK), Mednarodni denarni sklad (IMF) in Dunajski institut za mednarodne ekonomske študije (WIIW). Opozoriti velja, da za vse institucije nimamo podatkov za celotno obdobje od 1997 do 2009. Dejansko časovno okno bo navedeno v prikazu rezultatov analize. Ker se lahko cilji napovedovanja pri različnih ekonomskih spremenljivkah razlikujejo, bomo v analizi zajeli dve ključni spremenljivki: bruto domači proizvod (BDP) in inflacijo. V okviru analize napovedi BDP bomo prikazali napovedi za realno in nominalno rast BDP. Nekaj problemov se pojavi pri oceni uspešnosti napovedovanja inflacije, sajrazlične institucije napovedujejo to spremenljivko upoštevajoč različne definicije rasti ravni cen. V posameznih primerih je v opazovanem obdobju prišlo tudi do spremembe definicije, kar onemogoča izvedbo vseh statističnih testov. Slika 1: Prikaz izbranih spremenljivk Opomba: BDPr - realna stopnja rasti bruto domačega proizvoda, BDPn - nominalna stopnja rasti bruto domačega proizvoda, avgINF - povprečna letna stopnja rasti inflacije. Kakovost napovedi je seveda odvisna tudi od časa objave napovedi. Institucije, ki objavijo napoved pozneje, imajo določeno informacijsko prednost. Za vse institucije velja, da pripravijo napovedi dvakrat na leto. UMAR in BS običajno napovedi pripravita marca in septembra, SKEP maja in novembra, EK in IMF aprila in oktobra, WIIW pa februarja in julija. Vir napovedi so publikacije naslednjih institucij: - Pomladansko poročilo (1997-2006), Jesensko poročilo (1997-2006), Pomladanska napoved gospodarskih gibanj (2007-2009), Jesenska napoved gospodarskih gibanj (2007-2009). UMAR. - Uresničevanje kratkoročnih usmeritev denarne politike (2002-2004), Usmeritve denarne politike Banke Slovenije (2001), Poročilo o denarni politiki (2004-2006), Poročilo o cenovni stabilnosti (20072009). BS. - Konjunkturna gibanja (1997-2009). GZS, Služba za konjunkturo in ekonomsko politiko. - Country Report (2003-2004), World Economic Outlook (1999-2009). IMF. - Economic Forecasts for the Candidate Countries (20002002), Economic Forecasts (2002-2009). Evropska komisija. - WIIW Monthly Report (2003-2009). Wiener Institut für Internationale Wirtschaftsvergleiche. Na podlagi objav posameznih institucijbomo izvedli analizo uspešnosti oziroma kakovosti napovedi za štiri tipe napovedi: - pomladanska napoved za tekoče leto (pomlad (t)), - jesenska napoved za tekoče leto (jesen (t)), - pomladanska napoved za naslednje leto (pomlad (t+1)), - jesenska napoved za naslednje leto (jesen (t+1)). 3. metode Že v uvod smo navedli, da uporabniki in tudi tisti, ki napovedi pripravljajo, zasledujejo različne cilje. Zato se lahko ocene kakovosti napovedi za posamezno spremenljivko pomembno razlikujejo. Da bi se izognili pristranskosti pri ovrednotenju, bomo kakovost (natančnost) napovedi ocenjevali na podlagi uporabe večjega števila meril, ki jih lahko delimo v pet skupin: - statistične mere natančnosti, ki upoštevajo napako napovedi, - primerjava z naivnimi modeli, - test sledenja, - test smeri, ki preverja usklajenost v gibanju med napovedjo in realizacijo, - statistični testi nepristranskosti in učinkovitosti napovedi. Pri statističnih testih v nadaljevanju je običajno uporabljena stopnja značilnosti a=0,05. To pomeni, da obstaja 5-odstotna verjetnost napake, kjer ničelno hipotezo zavrnemo, čeprav je ta pravilna. Natančne stopnje značilnosti so sicer predstavljene v okviru rezultatov. Za prikaz uporabljenih metod bomo najprej navedli definicije osnovnih spremenljivk: P^ - napoved za leto t R^ - realizacija za leto t T - število opazovanih enot Povprečna napaka predstavlja povprečni odklon napovedane vrednosti od realizacije, kar kaže na pristranskost v napovedi: ME iv t=l (1) Če so napake - definirane kot razlika med realizacijo in napovedano vrednostjo - enakomerno porazdeljene, je vrednost te mere blizu nič. Pozitivna vrednost sporoča tendenco, kjer napoved v povprečju podcenjuje realizacijo. Način preverjanja statistične značilnosti tovrstne pristranskosti je predstavljen v nadaljevanju. Optimalna napoved bi morala izkazovati manjšo variabilnost kot realizacija, sajnajne bi vključevala iregularne komponente (Granger in Newbold, 1977). Na to dejstvo opozarja tudi Aiginger (1979), saj naj bi napoved v okoliščinah omejene informiranosti bilo smiselno pričakovati v obliki povprečnega razvoja dogodkov. Bolj kot je trend razvoja dogodkov nejasen, boljbodo pričakovanja blizu povprečni realizaciji iz preteklosti. Tendenca glajenja je podprta z dejstvom, da je močneje prisotna v napovedih z daljšim napovednim horizontom kakor pri kratkoročnih napovedih. Načeloma lahko trdimo, da je dobra napoved tista, kjer je razmerje med standardnim odklonom napovedi in realizacije manjše od ena in z daljšanjem napovednega horizonta upada. Pri izračunavanju povprečne napake se pozitivne in negativne napake lahko izničijo. Zato na podlagi tega merila ne moremo podrobneje analizirati kakovosti. Povprečna absolutna napaka (MAE) in povprečna kvadratna napaka (MSE) sta meri, ki jih tudi lahko uporabimo za izračun natančnosti napovedi: 1 MAE = - Prd t=i MSE = (fi - Py + (s« - Spy + 2(1 - r)sBSp (dekompozicija 1) MSE = (fi - py + (Sfi - rsp) + 2(1 - (dekompozicija 2) -iVr (2) = ~ Py^ - varianca napovedi t=i 2_lV -2 — ^^(^t ~ - varianca realizacije r = SgSp _ 1 p - povprečna napoved t=i T - korelacijski koeficient med napovedjo in realizacijo R — ^t - povprečna realizacija t=i Meri se razlikujeta po utežitvi napak, ki vstopajo v izračun: pri MAE so utežene linearno, pri MSE pa s potenco 2. Zato pri MSE damo večji poudarek večjim napakam. Pogosto se namesto MSE uporablja koren povprečne kvadratne napake (RMSE): RMSE = yfMŠE (3) Prednost predstavljene mere vidimo v dejstvu, da je izračunana vrednost v enakih merskih enotah kot napovedane in realizirane vrednosti opazovane spremenljivke. Neodvisno od izbire mere velja, da manjša kot je izračunana vrednost mere, boljša je napoved. Povprečno kvadratno napako lahko razbijemo na več delov (enačba 2). Tako je mogoče še boljpodrobno oceniti natančnost napovedi. Pri tem velja: UM + US + UC = 1 UM + UR + UD^l iR-py UM = US = UC = UR = UD = MSE (Sr - Sp)^ MSE 2(1 - r)5fi5p MSE isp-rsnY MSE MSE (4) t=i Dobra napoved je karakterizirana z majhno vrednostjo indikatorja pristranosti (UM), variance (US) in regresije (UR), medtem ko najbi bile vrednosti indikatorjev kovariance (UC) in distribucije (UD) blizu 1 (Theil, 1966; Theil, 1971). V navedenih primerih v izračun ne vstopa nikakršen indikator zahtevnosti napovedi. Pri tem vemo, da je spremenljivke, ki imajo majhno variabilnost, lažje napovedovati kakor pa spremenljivke, ki imajo visoko variabilnost. Zato lahko izračunamo standardizirano vrednost korena povprečne kvadratne napake in povprečne absolutne napake. Standardizacijo izvedemo, če obe meri delimo s standardnim odklonom realizacije (SDr). Takšna korekcija dopušča primerjavo napovedi za različne spremenljivke. Theil (1966, 1971) je razvil nekaj mer, ki imajo podobno funkcijo kakor že predstavljene mere. Njihova prednost je, da so standardizirane na vrednost 1, kar omogoča lažjo interpretacijo. Pri tem je uporabljeno splošno načelo, kjer primerjamo RMSE različnih napovedi. V našem primeru bomo napovedi institucij primerjali z napovedmi dveh naivnih modelov, ki jih predlaga Theil. Testna statistika W predpostavlja naivno napoved, ki temelji na hipotezi, da ne bo prišlo do spremembe v stopnji rasti opazovanega pojava: stopnja rasti opazovane spremenljivke iz predhodnega obdobja je uporabljena za tekočo napoved (enačba 5). Ta pristop velja tudi za napovedi z daljšim časovnim horizontom. W = (5) Naivna napoved pri testni statistiki U je nekoliko drugačna (enačba 6). Predpostavlja se namreč, da ne pride do spremembe v vrednosti spremenljivke (ravni), ki jo napovedujemo. To pomeni, da bo stopnja rasti pojava za napovedano obdobje enaka nič. U = zLiC^t - Pty (6) Za uporabnike napovedi je včasih bolj pomembno, da napoved pokaže pravilno smer razvoja pojava, kakor da dosežemo majhno napako. Pri ocenjevanju ujemanja v smeri si pomagamo s kontingenčno tabelo: Tabela 1: Kontingenčna tabela Smer Napovedi >=0 <0 Frekvence Realizacije >=0 a b a+b <0 c d c+d Frekvence a+c b+d a+b+c+d Z uporabo neparametričnega testa lahko ugotavljamo, ali je smer napovedi usklajena s smerjo realizacije (Ash, 1998). Ničelna hipoteza testa je, da so predznaki smeri napovedi in predznaki smeri realizacije medsebojno neodvisni. Smiselno je, da so predznaki smeri napovedi čim bolj podobni tistim, ki jih dobimo na podlagi smeri realizacije, zato je cilj testa zavrnitev ničelne hipoteze. Razmerje ujemanja (ER) je indikator ravni ujemanja znotraj opazovanega obdobja: Mera zajema vrednosti med 0 in 1. Dobra napoved naj bi imela vrednost nad 0,5 in p vrednost pod 0,05. Verjetnost ocenimo na osnovi testne statistike (Bleymüller in dr., 1994): (,a + b + c + d)(,ad-bcy (a + &)(c + d)(a + c)(& + d) (8) Nepristranska napoved naj bi imela enako povprečno vrednost kakor realizacija ter povprečno vrednost napake, ki je enaka nič. Standardni postopek za preverjanje nepristranskosti in učinkovitosti je ocena regresijskega modela, kjer je odvisna spremenljivka vrednost realizacije, pojasnjevalna spremenljivka pa vrednost ustrezne napovedi (Mincer in Zarnowitz, 1969): Rt = ßo + ßiPt + Ut (9) ER= (a+d)/(a+b+c+d) (7) Z ustrezno uporabo F-testa lahko preverimo ničelno domnevo, da je napoved nepristranska. Holden in Peel (1990) sta pokazala, da je to merilo zadostno, ne pa tudi potreben pogoj za nepristranskost. Zato sta predlagala nadgradnjo testa. Ključni problem pri tem je, da za izvedbo potrebujemo dovolj velik vzorec. Ker v našem primeru ta pogoj ni izpolnjen, bomo izvedli le osnovni test in sicer samo za Umarjeve podatke. Pri testih napovedne natančnosti, nepristranskosti ali dominance je treba upoštevati tudi možnost avtokorelacije napak napovedi, kar zahteva robustno ocenjevanje funkcije (9). Pri testu nepristranskosti napovedi je treba dopustiti možnost, da bi bile napovedne napake avtokorelirane pod alternativno domnevo pristranskosti napovedi. Kakor bomo videli v nadaljevanju, posamezni testi nakazujejo možno prisotnost avtokorelacije. To sicer dopušča možnost, da je bila uporabljena nekonsistentna cenilka variančno-kovariančne matrike regresijskih parametrov, vendar vzorec žal ne dopušča ustreznega preverjanja in odprave učinkov avtokorelacije. 4. rezultati Predstavitev rezultatov bomo začeli z analizo uspešnosti pomladanskih in jesenskih napovedi realne rasti BDP za tekoče leto (tabela 2). Vse nadaljnje analize so izdelane po enakem načelu: testne statistike in merila kakovosti so izračunani za tri različna obdobja: - 2002 do 2008 (izločen učinek svetovne finančne in gospodarske krize), - 2002 do 2009, - 1997/98 do 2009 (to obdobje je uporabljeno le pri podatkih za UMAR, ki ima najdaljšo tradicijo sistematičnega napovedovanja zajetih spremenljivk znotraj izbranega vzorca). Prvo merilo je povprečna napaka. Zaradi načina izračunavanja tega merila je treba biti pri njegovi Tabela 2: analiza uspešnosti pomladanskih in jesenskih napovedi realne rasti BDP za tekoče leto obdobje Institucija Pomladanska napoved Jesenska napoved Merilo umar BS SKEP EK IMF WIIW UMAR BS SKEP EK IMF WIIW 02-08 ME 0,24 0,39 0,33 0,37 0,42 0,23 -0,03 0,10 -0,04 0,16 0,34 0,43 02-09 -0,26 -0,39 -0,38 -0,23 -0,27 -0,78 -0,09 -0,05 -0,14 0,09 -0,09 -0,10 97-09 -0,20 0,04 02-08 MAE 0,76 0,79 0,79 0,89 0,88 0,94 0,43 0,50 0,59 0,41 0,57 0,71 02-09 1,14 1,41 1,35 1,33 1,41 1,80 0,44 0,58 0,61 0,41 0,89 1,10 97-09 0,95 0,49 02-08 MSE 0,78 0,93 0,89 1,11 0,97 1,17 0,35 0,34 0,49 0,25 0,45 0,63 02-09 2,48 5,02 4,29 3,39 4,10 8,63 0,34 0,45 0,51 0,24 1,59 2,35 97-09 1,84 0,38 02-08 RMSE 0,88 0,96 0,94 1,05 0,99 1,08 0,60 0,59 0,70 0,50 0,67 0,79 02-09 1,58 2,24 2,07 1,84 2,03 2,94 0,58 0,67 0,71 0,49 1,26 1,53 97-09 1,35 0,62 02-08 MAE/SD 0,64 0,66 0,66 0,74 0,74 0,79 0,36 0,42 0,49 0,35 0,48 0,60 02-09 0,28 0,34 0,33 0,32 0,34 0,44 0,11 0,14 0,15 0,10 0,22 0,27 97-09 0,29 0,15 02-08 RMSE/SD 0,74 0,81 0,79 0,88 0,83 0,91 0,50 0,49 0,59 0,42 0,56 0,66 02-09 0,38 0,55 0,51 0,45 0,49 0,72 0,14 0,16 0,17 0,12 0,31 0,37 97-09 0,41 0,19 02-08 W 0,58 0,64 0,63 0,70 0,65 0,72 0,40 0,39 0,46 0,33 0,44 0,53 02-09 0,37 0,53 0,49 0,43 0,48 0,69 0,14 0,16 0,17 0,12 0,30 0,36 97-09 0,39 0,18 02-08 U 0,21 0,22 0,22 0,25 0,23 0,25 0,14 0,14 0,16 0,12 0,16 0,18 02-09 0,32 0,46 0,43 0,38 0,42 0,60 0,12 0,14 0,15 0,10 0,26 0,32 97-09 0,30 0,14 02-08 UM 0,08 0,16 0,12 0,12 0,18 0,04 0,00 0,03 0,00 0,10 0,26 0,29 02-09 0,03 0,03 0,03 0,01 0,02 0,07 0,02 0,01 0,04 0,03 0,00 0,00 02-08 US 0,54 0,37 0,59 0,45 0,35 0,40 0,11 0,13 0,06 0,00 0,07 0,24 02-09 0,84 0,89 0,91 0,84 0,88 0,86 0,12 0,42 0,16 0,12 0,81 0,89 02-08 uc 0,39 0,47 0,28 0,43 0,47 0,55 0,88 0,84 0,93 0,90 0,67 0,46 02-09 0,14 0,08 0,06 0,14 0,10 0,07 0,86 0,58 0,80 0,85 0,18 0,11 02-08 UR 0,18 0,05 0,23 0,04 0,04 0,00 0,01 0,01 0,00 0,06 0,00 0,07 02-09 0,77 0,81 0,85 0,74 0,80 0,73 0,08 0,35 0,11 0,09 0,74 0,83 02-08 UD 0,75 0,78 0,65 0,83 0,77 0,95 0,99 0,96 0,99 0,84 0,73 0,64 02-09 0,21 0,16 0,12 0,24 0,18 0,20 0,90 0,64 0,86 0,88 0,25 0,17 02-09 ER 0,75 0,86* 0,63 0,63 0,63 0,71* 0,88 0,86* 0,75 0,88 0,75 1,00* Hi2 2,00 3,94* 0,53 0,53 0,53 2,10* 4,80 3,94* 2,00 4,80 2,00 7,00* p 0,16 0,05* 0,47 0,47 0,47 0,15* 0,03 0,05* 0,16 0,03 0,16 0,01* 2002 TS -0,58 0,07 0,81 0,08 0,45 -0,17 2,56 0,35 -0,87 -0,23 0,76 0,36 2003 -1,42 -0,42 -0,09 -0,85 -0,28 -0,72 1,94 0,00 -1,59 0,22 0,86 0,18 2004 -0,37 0,64 0,90 0,34 0,61 -0,06 3,17 1,39 -0,58 1,58 1,62 0,91 2005 -0,26 0,64 0,81 0,51 0,53 -0,06 3,17 1,04 -1,01 1,80 1,62 1,36 2006 0,79 1,35 1,81 1,27 1,51 0,67 4,20 2,26 0,00 2,70 2,70 2,45 2007 2,26 2,41 3,25 2,80 2,81 1,56 4,81 2,96 0,29 2,93 3,46 3,45 2008 1,32 1,91 2,80 2,21 2,32 0,89 2,15 1,22 -1,73 0,90 2,59 2,73 2009 -2,68 -2,19 -1,99 -1,53 -1,83 -3,44 1,13 -0,70 -2,89 0,00 -0,76 -0,73 Opomba: * - vzorec je krajši, kakor je navedeno. Osenčena polja so namenjena za najboljši/najslabši rezultat. uporabi previden. Načeloma lahko ugotovimo, da indikator za Umarjeve podatke kaže na podcenjevanje pri napovedovanju tekoče realne rasti v obdobju 2002-2008 za pomladanske napovedi. Zelo nazoren je učinek krize, kjer je pri pomladanski napovedi očitno prišlo do precenjevanja tekoče gospodarske rasti, kar pa za jesensko napoved ne velja. Upoštevajoč to merilo spadajo Umarjeve napovedi med boljše, zlasti če upoštevamo tajming napovedi in s tem razpoložljive informacije o stanju gospodarstva. Merili MAE in MSE kažeta, da je pomladanska Umarjeva napoved v obeh primerljivih časovnih obdobjih najboljša. Tudi jesenska je po teh dveh merilih med boljšimi. Izstopa sicer napoved EK, ki pa ima informacijsko prednost zaradi časovne razporeditve objav. Enake rezultate pokaže tudi merilo RMSE. Učinek krize se kaže v vseh treh merilih, saj se njihova vrednost za obdobje 2002-2009 pomembno dvigne. Ta učinek je viden pri vseh analiziranih institucijah. Meri MAE/SD in RMSE/SD imata pri pomladanski in jesenski napovedi vrednosti pod ena. Umarjeva pomladanska napoved je tudi v tem primeru najboljša, jesenska pa med boljšimi. Neposredno primerljivi sta z napovedmi BS, ki jih objavlja sinhrono z Umarjem. Pri tem je zanimivo, da dosega UMAR boljše rezultate za obdobje, ki vključuje krizo, kakor BS. Theilovi statistiki W in U sta za UMAR pri pomladanski in jesenski napovedi pod ena. Pri pomladanski napovedi ima UMAR po obeh statistikah najboljše rezultate. Pri jesenski napovedi so nekoliko boljši rezultati pri EK, vendar UMAR ne zaostaja bistveno. Zanimiv je učinek krize na rezultate pri statistiki W. Vrednosti so namreč z vključitvijo leta 2009 padle. To je posledica načina oblikovanja napovedi v naivnem modelu, kjer se predpostavlja ohranitev rasti iz predhodnega obdobja. Dekompozicija povprečne kvadratne napake pokaže, da komponenti UC in UD ne dosegata ravni, ki bi kazali na zelo dobro napoved pri pomladanski napovedi. To ne velja zgolj za UMAR, temveč tudi za preostale institucije. Rezultati za jesensko napoved so boljši, saj imata obe komponenti vrednosti blizu ena. UMAR ima tudi v obdobju, ko je vključeno krizno leto, najboljše rezultate. Učinek kriznega leta je sicer pri vseh institucijah pomembno vplival na kakovost napovedi. Zelo zanimivi so rezultati testa smeri, kjer ocenjujemo usklajenosti napovedi smeri gibanja posamezne spremenljivke. V opazovanem primeru v okviru pomladanskih napovedi samo BS dosega zadovoljive rezultate. Jesenske napovedi so nekoliko boljše. Negativno izstopata SKEP in IMF, ki ne uspeta doseči zadovoljive ravni ujemanja v smeri napovedi s smerjo realizacije. Test sledenja je izdelan pri vsaki instituciji za vse napovedi, a so v tabelah prikazani rezultati le od leta 2002. Zato rezultati med seboj niso neposredno primerljivi. Kritično vrednost je test presegel pri UMAR za leti 2006 in 2007. Sicer rezultati ne kažejo pomembnih posebnosti. V tabeli 3 so prikazani rezultati analize uspešnosti pomladanskih in jesenskih napovedi realne rasti BDP za naslednje leto. Po merilu ME najboljše rezultate za časovno okno 2002-2008 dosega UMAR. Če vključimo še podatke za leto 2009, pri pomladanski napovedi izstopata EK in IMF, pri jesenski pa BS in EK. V vseh primerih je leto 2009 negativno vplivalo na kakovost napovedi. Merili MAE in MSE pri pomladanski napovedi identificirata napovedi IMF kot najboljše, pri jesenskih napovedih pa je rezultat drugačen. Za obdobje 2002-2008 po merilu MAE izstopa UMAR, po merilu MSE pa SKEP. Z vključitvijo leta 2009 po merilu MAE izstopa SKEP, po merilu MSE pa EK. Upoštevajoč časovno razporeditev objav napovedi spadajo Umarjeve napovedi med boljše. Merili MAE/SD in RMSE/SD v okviru pomladanskih napovedi identificirata kot najboljše napovedi IMF, v okviru jesenskih pa napovedi SKEP in EK. Pri tem velja enaka ugotovitev kakor za merili MAE in MSE. Če upoštevamo časovno razporeditev, UMAR dosega dobre rezultate. Nekoliko negativno presenečenje predstavlja dejstvo, da sta oba parametra pri vseh institucijah blizu ali celo čez vrednost ena. Theilovi statistiki sta v primerjavi z vrednostmi iz tabele 1 bistveno višji. Za obdobje 2002 do 2009 statistika W presega vrednost ena pri UMAR, BS, SKEP, EK in WIIW (pomladanska napoved) ter pri IMF (jesenska napoved). To kaže na napačno oziroma slabo oceno učinka krize. Očitno je, da modeli navedenih institucij ne vključujejo mehanizmov, ki so krizo povzročili. Dekompozicija povprečne kvadratne napake sporoča strukturne pomanjkljivosti modelov. Zelo jasen je učinek krize, kar se kaže tudi v rezultatih testa smeri. Samo SKEP dosega v okviru pomladanske napovedi sprejemljive rezultate. Enako kakor pri napovedi za tekoče leto smo tudi za napovedi za naslednje leto izvedli test sledenja. Rezultati pokažejo, da so modeli zadovoljivo delovali do leta 2009. S kriznim letom pa skoraj pri vseh institucijah vrednosti presežejo kritično mejo. Izjemo v primeru pomladanske napovedi predstavlja WIIW, pri jesenskih napovedih pa kritične meje ne presegata BS in EK. V vseh treh primeri so vrednosti testne statistike blizu vrednosti štiri. Nepristranskost napovedi UMAR za realno rast BDP smo analizirali z uporabo regresijskega modela. Rezultati so predstavljeni v tabeli 4. Pri idealni napovedi bi morala biti vrednost regresijske konstante nič, vrednost koeficienta ob spremenljivki, ki predstavlja napovedano vrednost, pa ena. Rezultati pokažejo, da to velja samo Tabela 3: Analiza uspešnosti pomladanskih in jesenskih napovedi realne rasti BDP za naslednje leto obdobje Institucija Pomladanska napoved Jesenska napoved Merilo umar BS SKEP EK IMF WIIW UMAR BS SKEP EK IMF WIIW 02-08 ME 0,03 0,11 0,14 0,23 0,19 0,32* 0,17 0,43 0,24 0,34 0,39 0,29 02-09 -1,46 -1,36 -1,38 -1,25 -1,25 -1,49* -1,21 -1,04 -1,19 -1,04 -1,10 -1,26 97-09 -1,00 -0,73 02-08 MAE 1,14 1,06 1,03 1,03 0,99 1,18* 1,00 1,03 0,93 1,06 1,01 1,14 02-09 2,49 2,39 2,40 2,35 2,28 2,77* 2,24 2,31 2,21 2,26 2,33 2,51 97-09 1,98 1,73 02-08 MSE 1,71 1,42 1,36 1,41 1,30 1,79* 1,29 1,41 1,17 1,47 1,43 1,73 02-09 19,20 18,35 19,19 18,05 17,10 23,15* 15,98 17,20 16,70 15,60 17,78 19,81 97-09 13,14 10,88 02-08 RMSE 1,31 1,19 1,17 1,19 1,14 1,34* 1,14 1,19 1,08 1,21 1,19 1,31 02-09 4,38 4,28 4,38 4,25 4,14 4,81* 4,00 4,15 4,09 3,95 4,22 4,45 97-09 3,63 3,30 02-08 MAE/SD 0,96 0,89 0,86 0,86 0,83 0,99* 0,84 0,86 0,78 0,89 0,85 0,96 02-09 0,61 0,58 0,59 0,57 0,56 0,68* 0,55 0,56 0,54 0,55 0,57 0,61 97-09 0,60 0,52 02-08 RMSE/SD 1,10 1,00 0,98 1,00 0,96 1,13* 0,95 1,00 0,91 1,02 1,00 1,10 02-09 1,07 1,05 1,07 1,04 1,01 1,18* 0,98 1,01 1,00 0,96 1,03 1,09 97-09 1,10 1,00 02-08 W 0,87 0,79 0,77 0,79 0,76 0,89* 0,75 0,79 0,72 0,81 0,79 0,87 02-09 1,03 1,01 1,03 1,00 0,98 1,14* 0,94 0,98 0,96 0,93 1,00 1,05 02-08 U 0,31 0,28 0,27 0,28 0,27 0,31* 0,27 0,28 0,25 0,28 0,28 0,31 02-09 0,90 0,88 0,90 0,87 0,85 0,99* 0,82 0,85 0,84 0,81 0,87 0,92 02-08 UM 0,00 0,01 0,01 0,04 0,03 0,02 0,13 0,05 0,08 0,10 0,05 02-09 0,11 0,10 0,10 0,09 0,09 0,09 0,06 0,08 0,07 0,07 0,08 02-08 US 0,55 0,65 0,62 0,74 0,82 0,54 0,35 0,48 0,34 0,43 0,26 02-09 0,79 0,82 0,76 0,86 0,88 0,84 0,77 0,80 0,81 0,77 0,65 02-08 uc 0,45 0,34 0,37 0,23 0,16 0,44 0,52 0,46 0,58 0,47 0,70 02-09 0,10 0,08 0,14 0,06 0,02 0,07 0,17 0,11 0,12 0,16 0,27 02-08 UR 0,34 0,01 0,00 0,01 0,12 0,00 0,00 0,01 0,02 0,00 0,13 02-09 0,03 0,01 0,07 0,03 0,49 0,36 0,01 0,13 0,21 0,00 0,14 02-08 UD 0,66 0,98 0,99 0,96 0,86 0,98 0,87 0,94 0,90 0,89 0,82 02-09 0,85 0,89 0,83 0,88 0,42 0,55 0,92 0,79 0,72 0,93 0,78 02-09 ER 0,38 0,43* 0,88 0,71* 0,50 0,67* 0,38 0,43* 0,63 0,43* 0,50 0,57* Hi2 0,53 0,06* 4,80 1,22* 0,00 1,20* 0,53 0,06* 0,53 0,06* 0,00 0,19* p 0,47 0,81* 0,03 0,27* 1,00 0,27* 0,47 0,81* 0,47 0,81* 1,00 0,66* 2002 TS -0,68 -0,29 -0,05 -0,26 -0,99 0,29 0,13 -0,24 -0,04 -0,76 -0,12 2003 -1,69 -0,96 -0,70 -0,98 -1,63 -0,61 -0,52 -0,39 -0,79 -0,62 -1,19 -0,60 2004 -1,34 -0,54 -0,38 -0,60 -1,24 -0,40 0,06 0,22 -0,19 0,04 -0,43 -0,32 2005 -1,24 -0,59 -0,27 -0,47 -1,34 -0,25 0,12 0,26 -0,19 0,18 -0,52 -0,16 2006 -0,68 -0,08 0,38 0,04 -0,74 0,22 0,81 0,86 0,46 0,71 0,05 0,56 2007 0,38 0,71 1,50 0,89 0,30 1,01 1,85 1,69 1,44 1,55 1,05 1,39 2008 -0,08 0,34 1,07 0,68 0,05 0,69 1,21 1,30 0,84 1,06 0,90 0,80 2009 -6,09 -4,57 -5,36 -4,26 -5,54 -3,75 -5,08 -3,59 -5,23 -3,67 -4,57 -4,02 Opomba: * - vzorec je krajši, ne dopušča izračuna. kakor je navedeno. Osenčena polja so namenjena za najboljši/najslabši rezultat. Manjkajoči podatki so na mestih, kjer vzorec Tabela 4: Regresijska analiza pomladanskih in jesenskih napovedi realne rasti BDP za tekoče in naslednje leto Pomlad (t) Jesen (t) Pomlad (t+1) Jesen (t+1) Coefficient Prob. Coefficient Prob. Coefficient Prob. Coefficient Prob. c(1) -1.75 0.0044 -0.11 0.6841 10.24 0.5665 -20.92 0.0388 c(2) 1.46 0.0000 1.05 0.0000 -1.73 0.6881 6.24 0.0207 R-squared 0.93 0.97 0.02 0.43 Adjusted R-squared 0.92 0.96 -0.08 0.37 S.E. of regression 0.96 0.65 3.74 2.85 Sum squared resid 10.15 4.67 139.67 81.06 Log likelihood -16.84 -11.79 -31.75 -28.49 F-statistic 143.35 0.0000 324.79 0.0000 0.17 0.6881 7.52 0.0207 Wald Test: C(1)=0, C(2)=1 C(1)=0, C(2)=1 C(1)=0, C(2)=1 C(1)=0, C(2)=1 F-statistic 7.42 0.0091 0.37 0.7023 0.65 0.5448 3.05 0.0924 chi-square 14.85 0.0006 0.73 0.6942 1.29 0.5242 6.10 0.0473 Durbin-Watson stat 2.16 2.15 1.09 0.66 Sample 1997 - 2009 1997 - 2009 1998 - 2009 1998 - 2009 Included observations 13 13 12 12 za jesensko napoved za tekoče leto. Statistično to lahko podkrepimo (ne pa tudi potrdimo) z Waldovim testom, ki ne zavrne postavljene ničelne domneve pri jesenski napovedi za tekoče leto. Podoben rezultat dobimo tudi pri pomladanski napovedi za naslednje leto, vendar z upoštevanjem preostalih rezultatov model ne kaže na nepristranskost. Rezultati regresijske analize zatorejkažejo na možno pristranskost v napovedih. Pri tem velja opozoriti, da je analiza opravljena na majhnem vzorcu, zato ni bilo mogoče izvesti vseh testov, ki bi bili potrebni za potrditev navedene ugotovitve. V tabeli 5 so prikazani rezultati analize uspešnosti pomladanskih in jesenskih napovedi nominalne rasti BDP za tekoče in naslednje leto. Rezultati so predstavljeni le za UMAR, saj v vzorcu nismo imeli podatkov za preostale institucije. Izpostavili bi sledeče ugotovitve: leto 2009 ima enak učinek kakor pri napovedi za realno rast BDP. Mera RMSE/SD pri napovedih za naslednje leto v vzorcih, ki vključujejo leto 2009, doseže ali celo preseže vrednost ena. Theilova W-statistika se približa vrednosti ena pri napovedih za naslednje leto, ko je vključeno leto 2009. Test smeri kaže na nesignifikantno ujemanje med napovedjo in realizacijo. Signal sledenja v letu 2009 pri napovedih za naslednje leto preseže kritično mejo. Analiza nepristranskosti napovedi nominalne rasti BDP je predstavljena v tabeli 6. Rezultati zaradi majhnega vzorca ne dajo jasnih odgovorov na vprašanje, ali so napovedi nepristranske. V vseh primerih Waldov test ne more zavrniti ničelne domneve, da je regresijska konstanta enaka nič in regresijski koeficient enak ena, vendar drugi rezultati nujno ne podpirajo te ugotovitve. V tabelah 7, 8 in 9 so prikazani rezultati analize uspešnosti napovedovanja inflacije. Ker vse institucije ne uporabljajo enake definicije indikatorja rasti splošne ravni cen, je neposredna primerjava možna le med napovedmi UMAR, SKEP, IMF in WIIW. V omenjenih primerih opazujemo napoved povprečne rasti inflacije. BS je do 2007 uporabljala rast cen v obliki stopnje rasti cene tekočega kvartala glede na isti kvartal predhodnega leta. V letu 2007 je prešla na definicijo HICP. Zaradi omenjenih sprememb je onemogočena primerjava s preostalimi institucijami kakor tudi smiselna uporaba nekaterih testov/meril. EK napoveduje HICP v celotnem opazovanem obdobju. Tudi v tem primeru je neposredna primerjava onemogočena. V tabeli 7 najprej analiziramo uspešnost pomladanskih in jesenskih napoved inflacije za tekoče leto. Po prvem merilu (ME) je pri pomladanskih napovedi za obdobje 2002-2008 najboljša napoved SKEP, za 2002 do 2009 pa WIIW. UMAR ima obe vrednosti pozitivni, kar kaže na podcenjevanje pri napovedovanju. V okviru jesenskih napovedi prednjačita WIIW in IMF. Po merilih MAE, MSE in RMSE ima najboljše napovedi SKEP med primerjano četverico (UMAR, SKEP, IMF, WIIW). To velja za pomladanske in jesenske napovedi. UMAR v večini primerov zaseda drugo mesto. Če pa upoštevamo informacijsko prednost, ki jo ima SKEP, so napovedi UMAR boljše. Leto 2009 je v vseh primerih prispevalo k zmanjšanju vrednosti posameznih meril. Tabela 5: analiza uspešnosti pomladanskih in jesenskih napovedi nominalne rasti BDP za tekoče in naslednje leto Obdobje Institucija UMAR Merilo Pomlad (t) Jesen (t) Pomlad (t+1) Jesen (t+1) 02-08 0,50 -0,05 0,02 0,08 02-09 ME -0,14 -0,37 -1,74 -1,54 97-09 -0,21 -0,11 -0,87 -0,87 02-08 1,15 1,00 1,32 1,39 02-09 MAE 1,58 1,20 2,92 2,83 97-09 1,36 1,17 2,43 2,09 02-08 1,95 1,21 2,99 2,48 02-09 MSE 4,35 1,90 27,47 22,97 97-09 3,24 1,72 19,51 15,50 02-08 1,40 1,10 1,73 1,58 02-09 RMSE 2,09 1,38 5,24 4,79 97-09 1,80 1,31 4,42 3,94 02-08 0,59 0,51 0,67 0,71 02-09 mae/sd 0,32 0,24 0,58 0,56 97-09 0,28 0,24 0,49 0,43 02-08 0,71 0,56 0,88 0,80 02-09 RMSE/SD 0,41 0,27 1,04 0,95 97-09 0,37 0,27 0,90 0,80 02-08 W 0,54 0,42 0,67 0,61 02-09 0,39 0,25 0,97 0,89 02-08 U 0,17 0,13 0,21 0,19 02-09 0,26 0,17 0,65 0,59 02-08 UM 0,13 0,00 0,00 0,00 02-09 0,00 0,07 0,11 0,10 02-08 US 0,17 0,12 0,10 0,18 02-09 0,72 0,44 0,50 0,61 02-08 uc 0,70 0,88 0,90 0,82 02-09 0,28 0,49 0,39 0,28 02-08 UR 0,00 0,00 0,06 0,01 02-09 0,57 0,34 0,00 0,06 02-08 UD 0,87 1,00 0,94 0,99 02-09 0,42 0,59 0,88 0,83 02-09 ER 0,75 0,75 0,38 0,63 hi2 1,74 1,74 0,53 0,18 p 0,19 0,19 0,47 0,67 2002 -0,43 1,66 1,72 1,50 2003 -0,86 1,27 0,96 0,58 2004 -0,50 1,87 0,71 0,46 2005 TS -1,38 0,59 -0,08 -0,35 2006 -0,35 1,44 0,13 0,22 2007 1,77 2,47 1,61 1,51 2008 1,41 1,01 1,53 1,18 2009 -1,96 -1,21 -4,28 -4,99 Tabela 6: Regresijska analiza pomladanskih in jesenskih napovedi nominalne rasti BDP za tekoče in naslednje leto Pomlad (t) Jesen (t) Pomlad (t+1) Jesen (t+1) Coefficient Prob. Coefficient Prob. Coefficient Prob. Coefficient Prob. c(1) -1.75 0.1812 -1.49 0.0890 -2.85 0.6842 -6.80 0.2352 c(2) 1.17 0.0000 1.16 0.0000 1.22 0.1286 1.65 0.0172 R-squared 0.89 0.95 0.22 0.45 Adjusted R-squared 0.88 0.94 0.14 0.39 S.E. of regression 1.80 1.23 4.72 3.96 Sum squared resid 35.49 16.64 223.18 156.93 log likelihood -24.97 -20.05 -34.57 -32.45 F-statistic 86.36 0.0000 196.64 0.0000 2.74 0.1286 8.13 0.0172 Wald Test: C(1)=0, C(2)=1 C(1)=0, C(2)=1 C(1)=0, C(2)=1 C(1)=0, C(2)=1 F-statistic 1.04 0.3871 1.88 0.1986 0.25 0.7868 0.92 0.4280 chi-square 2.07 0.3550 3.76 0.1527 0.49 0.7822 1.85 0.3966 Durbin-Watson stat 1.74 2.87 1.16 1.10 Sample 1997 - 2009 1997 - 2009 1998 - 2009 1998 - 2009 Included observations 13 13 12 12 Do podobnih ugotovitev pridemo, če opazujemo merili MAE/SD in RMSE/SD. Ti dopuščata tudi primerjavo z BS in EK. Pri tem lahko ugotovimo, da BS pri pomladanski napovedi dosega boljše rezultate kakor UMAR, pri jesenski napovedi pa je nasprotno. Theilovi statistiki W in U sta pod ena v vseh primerih. Leto 2009 je celo znižalo vrednost statistike W, na statistiko U pa ni bistveno vplivalo. Po obeh statistikah SKEP dosega najnižje vrednosti v primerjani četverici institucij. Sledi UMAR, kar so nakazali že predhodni rezultati. Izstopajoče vrednosti ima sicer BS v okviru pomladanske napovedi pri testni statistiki W, saj dosega daleč najnižje vrednosti, a je neposredna primerjava onemogočena. Dekompozicija povprečne kvadratne napake kaže na neugodna razmerja med komponentami za UMAR. To velja za pomladansko in jesensko napoved. Razmeroma dobre rezultate dosegata SKEP (pomladanska napoved) in WIIW (jesenska napoved). Test smeri pokaže, da je usklajenost med napovedano in realizirano smerjo nesignifikantna pri pomladanskih napovedih EK in WIIW, ter jesenski napovedi IMF. UMAR doseže zelo dober rezultat pri jesenski napovedi, saj je mera ujemanja (ER) enaka ena. To velja tudi za BS, vendar je treba upoštevati drugačno definicijo inflacije. Test sledenja razkrije strukturne probleme v modelih za napovedovanje. Pri pomladanskih napovedih preseže kritično mejo pri UMAR (2007 do 2009), BS (2007 do 2009), SKEP (2002 do 2004 in 2007 do 2009), EK (2007 do 2009) ter IMF (2001 do 2009). Podobno velja za jesensko napoved. Kritična meja je prekoračena pri UMAR (1999 do 2009), BS (2006, 2008, 2009), SKEP (2003 do 2009), EK (2008, 2009) ter IMF (2000 do 2009). Zanimivo je, da kritična meja nikoli ni prekoračena pri WIIW. Analiza uspešnosti pomladanskih in jesenskih napovedi inflacije za naslednje leto je prikazana v tabeli 8. Po merilu ME dosega najboljše rezultate v pomladanski napovedi SKEP, v jesenski pa UMAR (vzorec 2002-2008) in SKEP (vzorec 2002-2009). Po merilu MAE najboljše rezultate dosega UMAR. To velja za pomladansko in jesensko napoved, in sicer pri obeh vzorcih. Po merilu MSE dosega za vzorec 2002-2008 najboljše rezultate UMAR. Z vključitvijo leta 2009 sta nekoliko boljša IMF (pomladanska napoved) in SKEP (jesenska napoved). Enako velja tudi za RMSE. KriterijMAE/SD favorizira pri vseh napovedih UMAR. To velja tudi za RMSE/SD, razen pri jesenski napovedi na vzorcu 2002 do 2009, kjer najboljši rezultat doseže SKEP. Upoštevajoč informacijsko prednost ima UMAR v primerjani četverici najboljše rezultate. Zanimivo je, da podobno performanco dosega tudi BS, vendar jo iz primerjave izločamo zaradi drugačne definicije inflacije. Theilovi testni statistiki spet favorizirata UMAR. Pri SKEP, EK, IMF in WIIW (pomladanska napoved, vzorec 2002 do 2008) in pri IMF ter WIIW (jesenska napoved, vzorec 2002 do 2008) testna statistika W celo presega vrednost ena. Zelo dobre vrednosti dosega tudi BS, vendar te niso primerljive z vrednostmi za UMAR. Nobena od četverice institucij ne zagotavlja signifikantnega ujemanja smeri napovedi in realizacije. Tabela 7: Analiza uspešnosti pomladanskih in jesenskih napovedi inflacije za tekoče leto obdobje Institucija Pomladanska napoved Jesenska napoved Merilo UMAR BS+ SKEP EK++ IMF WIIW UMAR BS+ SKEP EK++ IMF WIIW 02-08 ME 0,47 0,21 0,24 0,16 0,58 0,44 -0,11 -0,21 -0,06 -0,14 -0,07 0,01 02-09 0,48 0,25 0,20 0,16 0,56 0,19 -0,11 -0,21 -0,04 -0,13 -0,01 -0,06 97-09 0,29 -0,14 02-08 MAE 0,47 0,30 0,41 0,27 0,64 0,81 0,17 0,36 0,09 0,23 0,19 0,30 02-09 0,48 0,33 0,38 0,26 0,61 0,91 0,16 0,34 0,09 0,20 0,21 0,34 97-09 0,51 0,18 02-08 MSE 0,40 0,20 0,28 0,22 0,80 1,01 0,05 0,15 0,01 0,10 0,05 0,19 02-09 0,39 0,21 0,24 0,20 0,72 1,20 0,05 0,14 0,01 0,09 0,06 0,21 97-09 0,43 0,07 02-08 RMSE 0,64 0,45 0,53 0,47 0,89 1,00 0,23 0,39 0,11 0,31 0,22 0,43 02-09 0,62 0,46 0,49 0,45 0,85 1,10 0,22 0,37 0,11 0,29 0,25 0,46 97-09 0,66 0,27 02-08 MAE/SD 0,27 0,19 0,24 0,16 0,36 0,47 0,10 0,22 0,05 0,13 0,11 0,17 02-09 0,24 0,17 0,19 0,13 0,30 0,46 0,08 0,18 0,04 0,10 0,11 0,17 97-09 0,19 0,07 02-08 RMSE/SD 0,37 0,28 0,30 0,28 0,51 0,58 0,13 0,24 0,06 0,18 0,13 0,25 02-09 0,31 0,25 0,25 0,23 0,42 0,55 0,11 0,20 0,05 0,15 0,13 0,23 97-09 0,25 0,10 02-08 W 0,43 0,15 0,36 0,33 0,61 0,68 0,16 0,13 0,07 0,22 0,15 0,29 02-09 0,28 0,14 0,23 0,21 0,39 0,50 0,10 0,11 0,05 0,14 0,12 0,21 97-09 0,32 0,13 02-08 U 0,13 0,10 0,11 0,10 0,19 0,21 0,05 0,09 0,02 0,07 0,05 0,09 02-09 0,14 0,11 0,11 0,10 0,19 0,25 0,05 0,09 0,02 0,07 0,06 0,10 97-09 0,11 0,04 02-08 UM 0,55 0,23 0,21 0,11 0,42 0,19 0,24 0,30 0,29 0,21 0,10 0,00 02-09 0,59 0,30 0,16 0,13 0,43 0,03 0,26 0,33 0,12 0,18 0,00 0,02 02-08 US 0,00 0,12 0,02 0,10 0,11 0,12 0,14 0,08 0,03 0,13 0,26 0,02 02-09 0,00 0,15 0,06 0,07 0,09 0,31 0,10 0,05 0,17 0,15 0,50 0,02 02-08 uc 0,45 0,65 0,77 0,79 0,47 0,68 0,62 0,62 0,69 0,66 0,64 0,97 02-09 0,41 0,55 0,78 0,80 0,48 0,66 0,64 0,62 0,71 0,66 0,50 0,97 02-08 UR 0,01 0,19 0,00 0,17 0,04 0,01 0,17 0,12 0,03 0,18 0,30 0,07 02-09 0,01 0,20 0,02 0,12 0,04 0,09 0,12 0,08 0,18 0,19 0,54 0,00 02-08 UD 0,44 0,59 0,79 0,72 0,55 0,80 0,59 0,58 0,68 0,61 0,60 0,92 02-09 0,41 0,50 0,82 0,74 0,53 0,88 0,62 0,59 0,69 0,63 0,46 0,98 02-09 ER 0,88 1,00* 0,88 0,75 1,00 0,71* 1,00 1,00* 0,88 0,88 0,75 0,86* hi2 4,44 7,00* 4,44 1,74 8,00 1,22* 8,00 7,00* 4,44 4,44 1,74 3,73* p 0,04 0,01* 0,04 0,19 0,00 0,27* 0,00 0,01* 0,04 0,04 0,19 0,05* 2002 TS 1,18 0,31 4,51 3,09 6,08 1,64 -5,42 -1,19 -3,79 0,00 7,58 2003 1,38 -0,31 4,33 2,25 5,97 1,21 -6,50 -1,78 -4,33 -1,06 6,95 0,30 2004 1,97 0,31 4,16 2,53 5,87 0,77 -6,50 -2,07 -4,88 -2,12 6,74 -0,89 2005 1,97 0,62 3,47 2,25 6,08 0,22 -6,50 -2,96 -5,42 -2,65 6,53 -1,48 2006 2,76 1,54 3,81 2,53 6,19 0,33 -7,58 -4,15 -5,42 -2,65 6,53 -1,78 2007 5,52 4,92 5,72 5,91 7,16 1,42 -6,50 -2,67 -4,88 -1,06 7,37 1,19 2008 6,50 4,62 6,59 6,19 8,99 3,40 -9,21 -4,44 -5,96 -4,76 6,95 0,30 2009 7,48 6,15 6,41 6,75 9,42 1,64 -9,75 -5,04 -5,42 -4,76 7,79 -1,48 Opomba: * ne dopušča - vzorec je krajši, kakor je navedeno. Osenčena polja so namenjena za najboljši/najslabši rezultat. Manjkajoči podatki so na mestih, kjer vzorec izračuna. + in ++ - uporabljena je druga definicija spremenljivke. Tabela 8: Analiza uspešnosti pomladanskih in jesenskih napovedi inflacije za naslednje leto obdobje Institucija Pomladanska napoved Jesenska napoved Merilo UMAR BS+ SKEP EK++ IMF WIIW UMAR BS+ SKEP EK++ IMF WIIW 02-08 ME 0,76 0,67* 0,63 0,39 0,66 0,53* 0,36 0,57 0,43 0,13 0,63 0,90 02-09 0,38 0,20* 0,23 0,04 0,39 0,09* -0,06 0,18 0,04 -0,24 0,25 0,28 98-09 0,70 0,17 02-08 MAE 1,10 1,00* 1,20 1,41 1,31 1,23* 0,87 0,77 0,91 1,04 1,23 1,19 02-09 1,25 1,23* 1,38 1,54 1,34 1,43* 1,14 1,00 1,14 1,26 1,38 1,55 98-09 1,42 1,10 02-08 MSE 2,10 1,82* 2,33 2,73 2,50 2,58* 1,26 1,18 1,31 1,38 2,45 2,50 02-09 2,50 2,53* 2,89 3,11 2,47 3,17* 2,23 1,88 2,05 2,18 2,87 4,29 98-09 3,34 2,16 02-08 RMSE 1,45 1,35* 1,53 1,65 1,58 1,61* 1,12 1,08 1,14 1,17 1,57 1,58 02-09 1,58 1,59* 1,70 1,76 1,57 1,78* 1,49 1,37 1,43 1,48 1,69 2,07 98-09 1,83 1,47 02-08 MAE/SD 0,63 0,62* 0,69 0,83 0,75 0,71* 0,50 0,48 0,52 0,61 0,71 0,68 02-09 0,62 0,66* 0,69 0,77 0,67 0,71* 0,57 0,54 0,57 0,63 0,69 0,77 98-09 0,54 0,42 02-08 RMSE/SD 0,83 0,84* 0,88 0,96 0,91 0,92* 0,64 0,67 0,66 0,68 0,90 0,91 02-09 0,79 0,86* 0,85 0,89 0,78 0,89* 0,74 0,74 0,72 0,74 0,84 1,03 98-09 0,70 0,56 02-08 W 0,98 0,45* 1,03 1,15 1,07 1,09* 0,76 0,36 0,77 0,82 1,06 1,07 02-09 0,72 0,49* 0,78 0,84 0,72 0,81* 0,68 0,42 0,66 0,70 0,77 0,95 98-09 0,89 0,71 02-08 U 0,30 0,30* 0,32 0,35 0,33 0,34* 0,24 0,24 0,24 0,25 0,33 0,33 02-09 0,35 0,38* 0,38 0,39 0,35 0,40* 0,33 0,33 0,32 0,33 0,38 0,46 98-09 0,30 0,24 02-08 UM 0,27 0,17 0,05 0,17 0,10 0,28 0,14 0,01 0,16 0,32 02-09 0,06 0,02 0,00 0,06 0,00 0,02 0,00 0,03 0,02 0,02 02-08 US 0,02 0,05 0,01 0,08 0,09 0,08 0,02 0,01 0,11 0,10 02-09 0,13 0,16 0,07 0,21 0,21 0,22 0,13 0,10 0,25 0,13 02-08 uc 0,70 0,78 0,94 0,74 0,81 0,64 0,84 0,98 0,73 0,58 02-09 0,81 0,82 0,93 0,73 0,79 0,76 0,86 0,87 0,73 0,85 02-08 UR 0,03 0,04 0,17 0,03 0,00 0,00 0,02 0,07 0,02 0,00 02-09 0,01 0,02 0,07 0,00 0,00 0,00 0,00 0,01 0,00 0,12 02-08 UD 0,70 0,79 0,77 0,80 0,90 0,72 0,83 0,92 0,82 0,67 02-09 0,94 0,97 0,93 0,94 1,00 0,98 1,00 0,96 0,98 0,87 02-09 ER 0,50 0,67* 0,50 0,43* 0,63 0,50* 0,75 0,86* 0,63 0,57* 0,38 0,29* hi2 0,04 0,38* 0,04 0,19* 0,53 0,00* 1,74 3,73* 0,53 0,19* 0,53 2,10* p 0,85 0,54* 0,85 0,66* 0,47 1,00* 0,19 0,05* 0,47 0,66* 0,47 0,15* 2003 TS 4,94 0,57 4,79 0,78 5,24 0,42 3,36 0,80 4,35 0,16 5,41 1,68 2004 4,45 0,33 4,26 -0,39 4,41 -0,21 2,18 0,70 3,62 -1,03 4,64 1,74 2005 4,09 0,08 3,84 -0,85 3,88 -0,91 1,73 0,70 3,30 -1,74 4,26 1,10 2006 4,24 -0,24 3,96 -0,91 4,18 -1,05 1,73 0,60 3,46 -1,74 4,26 1,10 2007 5,29 0,98 4,61 -0,07 4,88 -0,14 2,55 1,80 4,35 -0,71 4,97 1,87 2008 7,55 3,26 6,44 1,76 6,41 2,24 4,55 4,00 6,28 0,71 6,39 4,06 2009 5,93 1,14 4,91 0,20 5,53 0,42 1,82 1,40 4,11 -1,50 5,08 1,42 Opomba: * ne dopušča - vzorec je krajši, kakor je navedeno. Osenčena polja so namenjena za najboljši/najslabši rezultat. Manjkajoči podatki so na mestih, kjer vzorec izračuna. + in ++ - uporabljena je druga definicija spremenljivke. Tabela 9: Regresijska analiza pomladanskih in esenskih napovedi inflacije za tekoče in naslednje leto Pomlad (t) Jesen (t) Pomlad (t+1) Jesen (t+1) Coefficient Prob. Coefficient Prob. Coefficient Prob. Coefficient Prob. c(1) 0.69 0.0795 -0.07 0.6662 0.77 0.5904 -0.29 0.8315 c(2) 0.92 0.0000 0.99 0.0000 0.98 0.0058 1.09 0.0012 R-squared 0.96 0.99 0.55 0.67 Adjusted R-squared 0.95 0.99 0.50 0.63 S.E. of regression 0.60 0.25 1.85 1.59 Sum squared resid 3.96 0.68 34.17 25.29 Log likelihood -10.72 0.75 -23.31 -21.50 F-statistic 237.50 0.0000 1438.59 0.0000 12.20 0.0058 20.00 0.0012 Wald Test: C(1)=0, C(2)=1 C(1)=0, C(2)=1 C(1)=0, C(2)=1 C(1)=0, C(2)=1 F-statistic 2.34 0.1427 2.12 0.1666 0.86 0.4514 0.13 0.8768 chi-square 4.67 0.0967 4.24 0.1202 1.72 0.4223 0.27 0.8752 Durbin-Watson stat 2.32 2.52 1.62 2.02 Sample 1997-2009 1997-2009 1998 -2009 1998 -2009 Included observations 13 13 12 12 Le BS v okviru jesenske napovedi dosega zadostno stopnjo ujemanja smeri. Slabi rezultati so tudi pri testu sledenja, ki nakazuje strukturne težave v modelih. V tabeli 9 so rezultati analize nepristranskosti. Enako kakor v tabelah 3 in 5 smo analizo izvedli le za UMAR. Izstopata jesenska napoved za tekoče leto in jesenska napoved za naslednje leto, saj lahko z veliko gotovostjo trdimo, da sta nepristranski. Očitno je, da ima UMAR za pripravo jesenskih napovedi boljkakovostno informacijsko podlago, kar posledično vpliva na kakovost napovedi. 5. sklep V prispevku smo analizirali kakovost makroekonomskih napovedih šestih institucij, ki redno objavljajo napovedi za Slovenijo. Analiza je osredotočena na oceno kakovosti napovedi realne in nominalne rasti BDP ter povprečne letne stopnje inflacije. Zajeto je obdobje od 1997 do 2008. Ločeno smo analizirali štiri oblike napovedi: pomladansko in jesensko napoved za tekoče leto ter pomladansko in jesensko napoved za naslednje leto. Na podlagi izbranih mer natančnosti smo presojali, katera institucija je bila najboljša pri napovedovanju. Pri končnem ovrednotenju rezultatov velja opozoriti, da so izračunane mere le točkovne ocene, ki so obenem pridobljene na zelo majhnem vzorcu. Na podlagi tega ne moremo reči, ali so razlike v napakah napovedi med različnimi modeli statistično značilno različne. Povedano drugače, za trditve o najboljših napovedih glede na posamezno merilo ne moremo reči, ali se nekatere institucije zdijo najboljše le zaradi navadnih napak pri vzorčenju ali pa je v tem tudi nekaj statistično značilno sistematičnega. Rezultati analize tako ne dajejo »absolutnega zmagovalca«, vendar kljub temu kažejo na lastnosti posameznih napovedi. Če poskušamo povzeti ključne ugotovitve analize, lahko rečemo, da so Umarjeve napovedi med boljšimi. Upoštevajoč časovno razporeditev objav dodatno govori v njihov prid (verjetno je bistveno bolj enostavno napovedati vrednost pojava v tekočem letu tik pred iztekom leta kakor več mesecev pred tem). Testi so tudi pokazali, da imajo analizirani modeli strukturne pomanjkljivosti. Globalna finančna in gospodarska kriza je pomembno vplivala na kakovost napovedi. Tako so se vrednosti parametrov kakovosti močno poslabšale pri vseh institucijah, hkrati pa je kriza potrdila indikacije tistih parametrov, ki so nakazovali na strukturne probleme napovednih modelov na vzorcu pred krizo. Ne glede na vrstni red, ki ga oblikujemo na podlagi predstavljenih mer kakovosti, lahko sklenemo, da je za izboljšanje kakovosti modelov še dovoljprostora. Opazno je tudi, da so razvijalci modelov najverjetneje do zdaj dajali prednost zmanjševanju napak v napovedi, medtem ko so usklajenost v smeri gibanja napovedi in realizacije pojava zanemarjali. Za učinkovito vodenje ekonomske politike je prav to merilo zelo pomembno. viri in literatura: Aiginger, K. 1979. Das Element »Vorsicht« in Zukunftsdaten. WIFO-Monatsberichte, 52(4), 167-184. Andersson, M. K., Karlsson, G., Svenssson, J. 2007. The Riksbank's Forecasting Performance, Sveriges Riksbank Working Paper Series, December 2007, 218. Ash, J. C., Smyth, D. J., Heravi, S. M. 1997. Are OECD Forecasts Rational and Useful? A Directional Analysis. International Journal of Forecasting, (14), 381-391. Ash, J. C., Smyth, D. J., Heravi, S. M. 1998. The Accuracy of OECD Forecasts of the International Economy: Balance of Payments. Journal of International Money and Finance, 16(6), 969-987. Austrian Institute of Economic Research (WIFO). Kurzfristige vierteljährliche Konjunkturprognose der österreichischen Wirtschaft. Vienna, 1983 to 2000. Batchelor, R. 2001. How Useful are the Forecasts of Intergovernmental Agencies? The IMF and OECD Versus the Consensus. Applied Economics, 33, 225-235. Baumgartner, J. 2002. Die Wirtschaftsprognosen von WIFO und IHS. Eine Analyse für die achtziger und neunziger Jahre. WIFO-Monatsberichte, 75(11), 701716. Bleymüller, J., Gehlert, G., Gülicher, H. 1994. Statistik für Wirtschaftswissenschaftler, 9th Edition, Vahlen Verlag, Munich. Blix, M., Wadefjord, J., Wienecken, U., Adahl, M. 2001. How Good is the Forecasting Performance of Major Institutions? Sveriges Riksbanken Economic Review, 3, 38-68. Christoffersen, P. F., Diebold, F. X. 1996. Further Results on Forecasting and Model Selection under Asymmetric Loss. Journal of Applied Econometrics, 11(5), 561-571. Christoffersen, P. F., Diebold, F. X. 1997. Optimal Prediction under Asymmetric Loss. Econometric Theory, 13(6), 808-817. Country Report (2003-2004). IMF. Diebold, F. X. 2001. Elements of Forecasting. 2. Edition, Southwestern College Publishing, Cincinnati. Diebold, F. X., Mariano, R. S. 1995. Comparing Predictive Accuracy. Journal of Business and Economic Statistics, 13, 253-265. Economic Forecasts (2002-2009). Evropska komisija. Economic Forecasts for the Candidate Countries (20002002). Evropska komisija. Granger, C. W. J., Newbold, P. 1977. Forecasting Economic Time Series. Academic Press, New York. Holden, K., Peel, D. A. 1990. On Testing for Unbiasedness and Efficiency of Forecasts. The Manchester School, 58(2), 120-127. Jesensko poročilo (1997-2006). UMAR. Jesenska napoved gospodarskih gibanj (2007-2009). UMAR. Konjunkturna gibanja (1997-2009). GZS, Služba za konjunkturo in ekonomsko politiko. Lenain, P. 2002. What is the Track Record of OECD Economic Projections? OECD, Paris, http://www.oecd. org/pdf/M00024000/M00024465.pdf. Mincer, J., Zarnowitz, V. 1969. The Evaluation of Economic Forecasts in Mincer, J. (Ed.), Economic Forecasts and Expectations: Analysis of Forecasting Behavior. NBER Studies in Business Cycles, (19). Öller, L.-E., Barot, B. 2000. The Accuracy of European Growth and Inflation Forecasts. International Journal of Forecasting, 16(3), 293-315. Pomladanska napoved gospodarskih gibanj(2007-2009). UMAR. Pomladansko poročilo (1997-2006). UMAR. Theil, H. 1966. Applied Economic Forecasting. North Holland, Amsterdam. Theil, H. 1971. Principles of Econometrics, New York. Uresničevanje kratkoročnih usmeritev denarne politike (2002-2004). BS Usmeritve denarne politike Banke Slovenije (2001). BS Poročilo o denarni politiki (20042006). BS Poročilo o cenovni stabilnosti (2007-2009). BS. WIIW Monthly Report (2003-2009). Wiener Institut für Internationale Wirtschaftsvergleiche. World Economic Outlook (1999-2009). IMF.