Oznaka poročila: ARRS-CRP-ZP-2012-06/1 ZAKLJUČNO POROČILO O REZULTATIH CILJNEGA RAZISKOVALNEGA PROJEKTA A. PODATKI O RAZISKOVALNEM PROJEKTU 1.Osnovni podatki o raziskovalnem projektu Šifra projekta V1-1003 Naslov projekta Stroški in napake v uradnih anketah Vodja projekta 19759 Mojca Bavdaž Naziv težišča v okviru CRP 1.02.03 Optimizaccija kakovosti podatkov in resursov v uradnih anketah Obseg raziskovalnih ur 962 Cenovni razred B Trajanje projekta 10.2010 - 11.2012 Nosilna raziskovalna organizacija 584 Univerza v Ljubljani, Ekonomska fakulteta Raziskovalne organizacije -soizvajalke 582 Univerza v Ljubljani, Fakulteta za družbene vede Raziskovalno področje po šifrantu ARRS 1 NARAVOSLOVJE 1.01 Matematika 1.01.06 Verjetnostni račun in statistika Družbeno-ekonomski cilj Naravoslovne vede - RiR financiran iz drugih virov (ne iz SUF) 2.Raziskovalno področje po šifrantu FOS1 Šifra 1.01 - Veda 1 Naravoslovne vede - Področje 1.01 Matematika 3.Sofinancerji2 Sofinancerji 1. Naziv Statistični urad Republike Slovenije Litostrojska 54 Naslov p.p. 3570 1000 Ljubljana B. REZULTATI IN DOSEŽKI RAZISKOVALNEGA PROJEKTA 4.Povzetek projekta3 SLO_ Na področju anketne metodologije se soočamo z vse bolj resnimi problemi nesodelovanja respondentov, pa tudi z naraščajočimi stroški, zato smo proučevali dva pristopa za zmanjšanje teh stroškov. Kot prvo smo proučevali vprašanje, kako in pod kakšnimi pogoji je smiselno in potrebno v verjetnostne ankete gospodinjstev vključevati cenejše načine anketiranja (poštno, spletno). V raziskavi smo najprej analizirali vse kombinirane načine anketiranja Statističnega urada RS. Nato smo v eksperimentu za anketo o potovanji (TU-ČAP 2012/2) - vzporedno z uradno anketo izvedli kombinirano spletno - telefonsko in poštno anketiranje. Po treh korakih je od bruto vzorca 3,000 enot odgovorilo 43% enot, kar velja primerjati s 33%, kolikor je bilo odgovorov v uradni anketi z bruto vzorcem 5,300 enot. Ocene iz kombinirane ankete so bile dramatično drugačne od uradne SURS ankete, saj je slednja identificirala bistveno manj potovalnih aktivnosti. V pogledu tekočih stroškov na enoto odgovora kombinirana anketa ni cenejša od telefonske uradne ankete SURS (cca 4€ na enoto odgovora), seveda pa je kombinirana anketa v smislu metodološkega dela bistveno bolj zapletena in v celoti gledano podraži izvedbo ankete. Dodajanje spletne/poštne možnosti anketiranja torej zaenkrat - pri tako zelo kratki anketi in pri tako nizki stopnji odziva na spletno anketo - v realiziranem raziskovalnem načrtu očitno ne poceni ankete. Na drugi strani pa se nakazuje, da se lahko z dodatnimi (kombiniranimi) načini anketiranja ocene bistveno izboljšajo. Kot drugo smo proučevali časovno potratno urejanje podatkov v anketah podjetij in drugih organizacij, ki je mnogokrat posledica (pre)slabega izpolnjevanja vprašalnikov v procesu odgovarjanja in posledičnih merskih napak. Pod drobnogled smo vzeli obsežno, a že več desetletij prisotno anketo o investicijah (INV-1), in z več vidikov proučili proces odgovarjanja v poročevalskih enotah in proces urejanja podatkov na uradu. Ravno dolgotrajna prisotnost ankete očitno prispeva k ugotovitvi, da odgovarjanje tipično poteka hitro, rutinsko in z zaupanjem respondentov, da opravljajo svojo nalogo dobro. Po drugi strani pa preseneča precejšen obseg urejanja v tako utečeni anketi. To nakazuje tako na možnosti izboljšanja samega vprašalnika kot na možnosti izboljšanja urejanja preko izboljšanja komunikacije s poročevalskimi enotami, ki se očitno ne zavedajo svojih napak. ANG_ Survey methodology is faced with more and more serious problems of respondents' non-cooperation and increasing costs. For this reason we studied two approaches to reduce these costs. First, we examined the question of how and under what conditions it is reasonable and necessary to include cheaper ways of surveying (mail, web) into the probability-based household surveys. In our study, we firstly analyzed all combined methods of surveying of Statistical Office of the Republic of Slovenia (SURS). Then, for a survey on traveling (TU-ČAP 2012/2) we - in parallel with the official survey - carried out a combined web -telephone and mail survey. After three steps, from the gross sample of 3.000 units we reached the response rate 43% of the units, what is comparable to 33%, that was the response rate on an official survey (with gross sample 5.300 units). Evaluation from the combined survey were dramatically different from the official SURS survey, since the latter identified significantly less travel activities. In respect of current costs per unit, combined survey is not cheaper than the official telephone survey of SURS (about 4 € per unit response), however the combined survey is in term of the methodological work considerably more complicated and consequently more expensive. Adding a web/mail surveying options, for now - in a very short survey and with such low response rate as it was on the online survey - in realized research plan apparently does not make the survey cheaper. But on the other hand it indicates that with additional (combined) modes of surveying, the resulting statistics can be significantly improved. Secondly, we studied time consuming data editing in establishment surveys, which is often a consequence of (too) bad questionnaire's completion in the response process and resulting measurement errors. We examined a long survey on investment (INV-1) that is, however, present for several decades. We studied both the response process in reporting units and the editing process at SURS. Long-term presence of this survey obviously contributes to the finding that responding typically goes fast, routinely and with respondents' confidence that they are performing well on this task. On the other hand, it is surprising to see the extent of editing in such a well-established survey. This suggests that there are opportunities to improve the questionnaire and to improve the editing process through improved communication with reporting units that obviously are not aware of their mistakes. 5.Poročilo o realizaciji predloženega programa dela na raziskovalnem projektu4 V prvem delu projekta smo obravnavali vse bolj aktualno vprašanje kombiniranja načina anketiranja. Klasični osebni načini (telefon, teren) so namreč vse dražji, močna pa upada tudi sodelovanje, zato je uvajanje kombiniranih načinov vse bolj pogosto. Pri tem pa se srečujemo z vprašanji kvalitete podatkov in predvsem z vprašanjem stroškov. V raziskavi smo najprej analizirali vse kombinirane načine anketiranja Statističnega urada RS. Nato smo izvedli obsežno eksperimentalno anketo TU-ČAP - ki sicer poteka na SURS kvartalno preko telefona - kot kombiniran način anketiranja. V naš eksperimenalni vzorec je bilo iz CRP vključenih 3,000 oseb na enak način kot v vzporedno uradno raziskavo. Za naš eksperiment je SURS uspel identificirati telefonske številke 1,720 osebam (57%), kar je podobno kot v uradnem delu vzorca, kjer so od skupno 5,300 enot telefonske številke našli za 3,025 enot. Vsem vključenim 3,000 osebam smo dne 18.4.2012 poslali poštno vabilo za sodelovanje v spletni anketi. V drugi fazi smo pričeli s telefonskim anketiranjem nerespondentov, za katere smo imeli na voljo telefonsko številko. Telefonsko anketiranje je izvedel Statistični urad z uporabo standardnega telefonskega vprašalnika TU-ČAP, identičnega uradni različici in tudi klicanje ter nadzor je potekal po enaki proceduri. Zbiranje podatkov po telefonu je potekalo od 25.4. do 11.5.2012. Po zaključku telefonskega anketiranja smo meseca maja v zadnji, tretji fazi nerespondentom na telefonsko anketo ter nerespondentom poslali kratko (dvostransko) poštno različico vprašalnika. Zaradi siceršnje kompleksnosti anketnega vprašalnika smo v poštni različici uporabili le ključne spremenljivke. Preko spleta smo dobili 306 odgovorov, preko telefona 673, preko poštne ankete pa 327, skupno okoli 1,300 enot (zaradi metodoloških posebnosti se vsote povsem ne ujemajo). Ugotovili smo naslednje: • s kombinirano anketo (splet, telefon, pošta) smo po vseh treh korakih - od bruto vzorca 3,000 enot -dobili 43% enot z odgovori, kar velja primerjati s 33%, kolikor je bilo odgovorov v uradni anketi z bruto vzorcem 5,300 enot; • kombinirana anketa je privabila nekoliko drugačno socio-demografsko strukturo (več mladih, več izobraženih), vendar odgovarjajoče uteževanje ne prinaša bistvenih sprememb; • ocene iz kombinirane ankete so za ključne spremenljivke dramatično drugačne od ocen iz uradne SURS ankete, saj je slednja identificirala bistveno manj potovalnih aktivnosti; govorimo o razlikah za 30%, 100% in celo 300% vrednosti ocene; • na primerjave lahko v določeni meri vplivajo tudi posebnosti pri izvedbi kombinirane ankete, ki je zaradi tega dosegla nekoliko manjši odziv (pri izvedbi, ki bi potekala po planu, bi skoraj zagotovo presegli 50% odziv, namesto 43%): • Izvor razlik v ocenah med anketama lahko strukturiramo, pri čemer na tej točki ocenjujemo, da se po pomembnosti razvrščajo takole: Povezanost sodelovanja v telefonskem načinu z obsegom potovanj: osebe, ki več potujejo, imajo namreč redkeje fiksni telefon, predvsem pa so redkeje na njem dosegljive in kooperativne, kar vpliva na podcenjenost potovanj v telefonski anketi, Nižji odziv v anketi SURS kot v kombinirani anketi (33% proti 43%), Učinek načina anketiranja (vključno z specifičnostmi kontrol v spletnem vprašalniku in odsotnostjo kontrol v pisemskem vprašalniku), Druge, neznane napake, Vzorčna napaka. • V pogledu tekočih stroškov na enoto odgovora kombinirana anketa ni videti cenejša od telefonske uradne ankete SURS (ki jo ocenjujemo na cca 4€ na enoto odgovora), seveda pa je kombinirana anketa v smislu metodološkega dela bistveno bolj zapletena in zaradi tega v celoti gledano podraži - vsaj prvo, postavitveno - izvedbo ankete za najmanj 50%. Dodajanje spletne/poštne možnosti anketiranja torej pri tovrstni (zelo kratki anketi in pri nizki stopnji odziva na spletno anketo) ne poceni procesov. Hkrati pa postaja na drugi strani vključevanje spleta in pošte (seveda lahko tudi osebnega anketiranja) nujnost za dobro doseganje ciljne populacije, saj gre za zelo specifično anketo, kjer je sodelovanje (odsotnost) tesno povezano z vsebino proučevanja (potovanje). Ker ne vemo, kakšne so realne (prave) vrednosti ciljnih spremenljivk, bi slednje veljalo raziskati z dodatnimi raziskavam, najprej glede problema telefonske ankete: • Pregledati, če je vprašanje o potovanjih vključeno v kako drugo obstoječo raziskavo s terenskim anketiranjem in tam analizirati učinek telefonskega podvzorca, • Vključiti vprašanja o obsegu potovanj v neko večjo raziskavo s terenskim anektiranjem (ADS, SILK,...). V obeh primerih bi se s tem analiziralo učinek posedovanja telefona (ali osebe, ki nimajo fiksnega telefona, manj potujejo?). Seveda pa bi to še vedno ne odgovorilo na vprašanje, če take osebe v anketi - ko so enkrat izbrane - tudi manj sodelujejo. Učinek načina anketiranja bi lahko osvetlilo naslednje: • Izvesti kontrolno anketo in anketirance, ki so v TU-ČAP odgovorili v telefonski anketi in jih o ključnih spremenljivkah vprašati še po pošti ali po spletu (s tem bi ocenili morebitni učinek načina anketiranja). Vpliv dosežene stopnje pa bi lahko osvetlilo naslednje: • dodatno poštno/spletno anketiranje oseb v TU-ČAP, ki v telefonski anketi niso bile zajete. Na tej osnovi bi lahko natančneje ocenili, kaj je prava vrednost ciljnih spremenljivk in v skladu s tem učinkoviteje ukrepali. Morebitni kombinirani način pa bi v bodoče seveda veljalo tudi izboljšati, predvsem v smeri: • večjega števila dopisov, • boljšega kombiniranja načinov anketiranja, • izboljšanega timinga, • izboljšav v spletenem in poštnem vprašalniku, • nagrajevanju respondentov (vsaj npr. povratna informacija, zloženka,...) Pridobiti pa bi veljalo tudi morebitne izkušnje s kombinacijo načinov anketiranja v tovrstnih anketah o potovanjih iz drugih držav. V drugem delu projekta smo proučevali časovno potratno urejanje podatkov v anketah podjetij in drugih organizacij. Ugotavljamo, da je za prihodnje analize najprej potrebno poskrbeti za boljšo podatkovno osnovo, ker sedanji postopek urejanja omogoča zgolj delni vpogled in analizo, ali pa od zaposlenih zahteva precej dodatnega napora. Pri ugotovitvah študije procesa odgovarjanja v poročevalskih enotah, navedene v nadaljevanju, se je potrebno zavedati, da so postavljene na osnovi kvalitativnega raziskovanja na manjših, večinoma priložnostnih vzorcih, za katere je možno, da so zajele boljše (oz. vsaj bolj motivirane) respondente: - Za uspešno opravljeno nalogo je potrebno razumevanje navodil, pa tudi specializirano strokovno znanje. Obravnavani respondenti ne poročajo o težavah pri razumevanju navodil v vprašalniku. - Za obravnavane respondente v poročevalskih enotah se zdi, da imajo ustrezno strokovno -računovodsko znanje, ki ga zahteva vprašalnik, obenem pa tudi večletne izkušnje z njegovim izpolnjevanjem. - Obravnavani respondenti ne poznajo namena zbiranja podatkov, zato bi bilo dobro doseči večjo prepoznavnost namenov statističnih raziskovanj. - Čeprav se zdi, da opredelitve investicij niso vedno povsem enoznačne, izgleda, da respondenti uporabljajo in sledijo definiciji SURS. Na ta način si pogosto tudi organizirajo informacijske vire, iz katerih lahko hitro in učinkovito vzamejo zahtevane informacije, kar kaže na določeno stopnjo avtomatizacije pri izpolnjevanju vprašalnika. - Kljub številnim pozitivnim vidikom avtomatizacije poročanja podatkov, lahko naletimo na težave, ko star, dobro utečen postopek ni več ustrezen in je potrebno oblikovati nov odgovor, npr. ko pride do sprememb v navodilih oziroma vsebini vprašalnika, ali pa ob spremembi računovodskih standardov. Urad mora posebno pozornost nameniti obveščanju o spremembah in tako zagotoviti, da jih bodo respondenti opazili ter ustrezno prilagodili proces odgovarjanja. - Ob uvrščanju manj poznanih primerov investicij semantično znanje ne zadostuje za uspešen odgovor. Pri novih, nepoznanih primerih se respondent ne more več zanašati na obstoječe znanje, zato mora zgraditi novo miselno prezentacijo, v katero bo vgradil nove elemente. To lahko povzroči podaljšanje čas odgovarjanja. - Po izkušnjah strokovnjakov s SURS se napake v izpolnjevanju vprašalnika pogosteje pojavljajo pri novih respondentih. Sklepamo lahko, da je respondent najbolj izkušena in strokovno usposobljena oseba za izpolnjevanja vprašalnikov v poročevalski enoti, vendar v primeru njegove odsotnosti prenos znanja ni vedno ustrezno opravljen. Vsega znanja, potrebnega za kakovostno in učinkovito izpolnjevanje vprašalnikov, namreč ne moremo eksplicitno izraziti in po možnosti zabeležiti v dokumentacijo, kjer bo na voljo novemu respondentu. Zato je še posebej pomembno, da v poročevalskih enotah omogočijo tudi prenos znanja preko komunikacije med izkušenim respondentom in novincem, oziroma prenos znanja, ki ga niti ni mogoče skomunicirati (npr. učenje preko opazovanja). Ugotovitve analize urejanja pa po drugi strani strnemo v naslednje: - Izmed analiziranih poročevalskih enot jih je 88,5% oddalo vprašalnik, a le slaba polovica enot je odgovorila pravočasno. Iz analize prispetja je sicer razviden učinek pošiljanja opominov, a se je potrebno zavedati visokih stroškov, ki ob tem nastanejo. - V nekaterih dejavnostih opazimo višji delež pravočasno oddanih vprašalnikov, in sicer pri finančnih in zavarovalniških dejavnostih, poslovanju z nepremičninami, dejavnostih javne uprave in obrambe, dejavnostih obvezne socialne varnosti. Nasprotno pa v dejavnostih gostinstva, prometa in skladiščenja ter drugih dejavnostih opažamo visok delež pozno oddanih vprašalnikov. Ena od možnih razlag za razlike bi lahko bila večja prisotnost zaposlenih z ekonomskimi znanji med enotami, ki poročajo pravočasno. - Velike poročevalske enote so bolj obremenjene s poročanjem, saj je njihov čas izpolnjevanja vprašalnikov daljši v primerjavi s srednje velikimi in majhnimi, prav tako morajo v analizirano Tabelo 1 vnesti več podatkov. - Pri tretjini analiziranih vprašalnikov je bilo potrebno opraviti postopek urejanja na podlagi logičnih kontrol. Z večjim deležem urejanja najbolj izstopajo poročevalske enote na področju strokovnih, znanstvenih in tehničnih dejavnostih (področje M) ter informacijskih in komunikacijskih dejavnostih. - Enote, ki jih je bilo potrebno urejati, so v povprečju naredile 2,43 napake. Najpogostejša vrsta napak so manjkajoče vrednosti. V štirih petinah primerov so urejevalci morali vstaviti manjkajočo vrednost v poljih, ki so jih respondenti spregledali. Pojav lahko razlagamo s površnostjo pri izpolnjevanju vprašalnika oziroma z napačnim razumevanjem in interpretacijo navodil, ki ponekod zahtevajo večkratno vpisovanje zneska - prav v poljih, kjer je potrebno sešteti posamezne vrednosti in vpisati skupno vsoto, se pojavlja večina manjkajočih vrednosti. - V nasprotju z logičnimi kotrolami pa je vsebinska kontrola na podlagi primerjave vrednosti investicij z drugimi viri odkrila razmeroma malo enot, ki jih je bilo potrebno zaradi velikega odstopanja dodatno preveriti. Kljub temu pa je strošek teh popravkov večji, saj je bilo tako potrebno 3,5% enot (tudi po večkrat) kontaktirati in odkriti vzrok napake. - Čeprav se je pri večini kontaktiraniih enot poročana vrednost investicij izkazala za ustrezno, so prav ti popravki pri zelo majhnem deležu enot bistveno vplivali na končno kumulativno vsoto investicij (po analiziranih enotah). Ravno dolgotrajna prisotnost ankete očitno prispeva k ugotovitvi, da odgovarjanje tipično poteka hitro, rutinsko in z zaupanjem respondentov, da opravljajo svojo nalogo dobro. Po drugi strani pa preseneča precejšen obseg urejanja v tako utečeni anketi. To nakazuje tako na možnosti izboljšanja samega vprašalnika kot na možnosti izboljšanja urejanja preko izboljšanja komunikacije s poročevalskimi enotami, ki se očitno ne zavedajo svojih napak. 6.Ocena stopnje realizacije programa dela na raziskovalnem in zastavljenih raziskovalnih ciljev5 Osnovna hipoteza prvega dela projekta je bilo preverjanje, ali so kombinirani način anketiranja ugodnejši v smislu stroškov in napak. Eksperimentna študija je pokazala, da smo s kombinirano anketo (splet, telefon, pošta), ki je potekala vzporedno z uradno anketo TU-ČAP v drugem četrtletju 2012 dobili bistveno večji odziv (43%) v primerjavi z uradno anketo, ki poteka samo po telefonu (33%). Hkrati s tem pa so bile ocene iz kombinirane ankete za ključne ciljne spremenljivke bistveno drugačne od ocen iz uradne SURS ankete, ki je identificirala manj potovalnih aktivnosti. Izvor razlik lahko iščemo predvsem v povezanost sodelovanja v telefonskem načinu z obsegom potovanj: osebe, ki več potujejo, imajo redkeje fiksni telefon, predvsem pa so redkeje na njem kooperativne, kar vse lahko vpliva na podcenjenost potovanj v telefonski anketi. V pogledu tekočih stroškov na enoto odgovora kombinirana anketa ni cenejša od telefonske uradne ankete SURS (4€ na enoto odgovora), seveda pa je kombinirana anketa v smislu metodološkega dela bolj zapletena in zato dražja. Ugotovili smo torej, da dodajanje spletne/poštne možnosti anketiranja pri tovrstni (zelo kratki anketi in pri nizki stopnji odziva na spletno anketo) ne poceni procesov, hkrati pa je vključevanje spleta in pošte nujnost za doseganje ciljne populacije. Rezultati zato zahtevajo dodatne analize, ki bi osvetlile prave/realne vrednost ciljnih spremenljivk. Na tej osnovi bo treba sprejeti nadaljnje korake. Osnovna hipoteza drugega dela projekta je bila, da so neizkoriščene možnosti povezovanja dveh faz v anketah podjetij in drugih organizacij, to je procesa odgovarjanja in procesa urejanja podatkov. Na osnovi študija obsežne, a že več desetletij prisotne ankete ugotovljamo, da ravno zaradi dolgotrajne prisotnosti ankete odgovarjanje tipično poteka hitro, rutinsko in z zaupanjem respondentov, da opravljajo svojo nalogo dobro. Po drugi strani pa preseneča precejšen obseg urejanja v tako utečeni anketi. To nakazuje tako na možnosti izboljšanja samega vprašalnika kot na možnosti izboljšanja urejanja preko izboljšanja komunikacije s poročevalskimi enotami, ki se očitno ne zavedajo svojih napak. To odpira veliko novih vprašanj, ki terjajo svoj odgovor v prihodnosti. 7.Utemeljitev morebitnih sprememb programa raziskovalnega projekta oziroma sprememb, povečanja ali zmanjšanja sestave projektne skupine6 Bistvenih sprememb programa ni bilo. Manjša sprememba je nastala pri izvedbi empiričnega dela, kjer smo skladno z dogovorom z naročnikom razširili obseg analize na posamezni obravnavani anketi in zmanjšali število obravnavanih anket. 8.Najpomembnejši znanstveni rezultati projektne skupine7 Znanstveni dosežek 1. COBISS ID 29422941 Vir: COBISS.SI Naslov SLO Mobilni telefoni v okolju konkurenčnih spletnih načinov: vzpostavitev metrike za evalvacijo stroškov in napak ANG Mobile phones in an environment of competing survey modes Avtorji se v članku, ki je objavljen v SCI reviji, osredotočajo na vključevanje mobilnih telefonov v anketno zbiranje podatkov, ki je Opis SLO večinoma odvisno od razmerja med stroški in napakami. V izvedeni raziskavi so razvili in ovrednotili model, ki hkrati upošteva kakovost podatkov skozi vse vire anketnih napak in stroške raziskovanja v različnih fazah anketnega projekta in z različnimi kombinacijami načinov. V članku predstavljajo uporabo modela za primerjavo vključevanja mobilnih telefonov v anketiranje z alternativnimi anketnimi oblikami. Pristop ponazarjajo s simulacijsko študijo, kjer so v model vnesli parametre iz empiričnih raziskav. Rezultati kažejo, da lahko takšna hkratna evalvacija stroškov in vpliva vseh virov napak potencialno spremeni izbiro anketnega načrta, v primerjavi z evalvacijo, ki temelji samo na nekaterih komponentah (npr. stopnja odgovorov, pristranskost zaradi neodgovorov). ANG In recent years, mobile phones have become an increasingly important component in survey data collection. This holds true for self-administered questionnaires and particularly for interview surveys, where mobile phones enforce the combination with other survey modes. However, whether to include mobile phones in a particular survey design depends on complex cost-error relationships. To address this issue, the authors elaborate a metric-based on a product of costs and estimates of survey errors-that is then used for post survey comparison of design alternatives. The authors illustrate this approach with a simulation study using parameters from empirical research. The results show that such evaluation can potentially change the selection of the preferred design option compared to situations where only some of the components (e.g., response rate, nonresponse bias) are used for evaluation. More specifically, the decision about the inclusion of mobile phones predominantly depends on their bias-removing potential, while it is much less sensitive to changes in costs and other error parameters. Objavljeno v Sage Publications; Social science computer review; 2010; Vol. 28, no. 3; str. 303-318; Impact Factor: 0.913;Srednja vrednost revije / Medium Category Impact Factor: 0.809; A': 1; WoS: EV, NU, WU; Avtorji / Authors: Vehovar Vasja, Berzelak Jernej, Lozar Manfreda Katja Tipologija 1.01 Izvirni znanstveni članek 2. COBISS ID 31170141 Vir: COBISS.SI Naslov SLO Prednosti izbire mobilnih telefonskih anket? Medsebojni vpliv stroškov, napak in pristranskosti. ANG Preference for mobile interview surveys? Opis SLO V zadnjem času postaja anketiranje preko mobilnih telefonov (mobile CATI) vse bolj pomembna in pogosta možnost, ki zamenjuje terenske in telefonske intervjuje. Proces je še pospešen zaradi naraščajočega števila gospodinjstev brez fiksnega telefona, ki pa ima vsaj en mobilni telefon. Ankete s podvojenimi vzorčnimi okviri, ki kombinirajo sezname fiksnih in mobilnih številk, so možna rešitev za podajočo pokritost in stošnje odgovorov fiksnih CATI anket, pri kateri se ohranijo nizki stroški. Za najboljši izkoristek tega načrta bi bilo treba oblikovati optimalni parameter mešanja mobilnega in fiksnega podvzorca. V prispevku predstavimo analitičen optimizacijski pristop, ki maksimizira natančnost in minimizira pripadajoče anketne stroške, ki smo ga uporabili v naši raziskavi, da bi določili kako mešati dva omenjena podvzorca. ANG In recent years, mobile phone telephone interviewing (mobile CATI) is becoming an increasingly frequent option replacing face-to-face and fixed telephone interviews. The process is speeded up by the increasing number of households without a fixed phone but having at least one mobile phone. Dual frame surveys combining fixed and mobile frames could be a possible solution for falling coverage and response rates for fixed phone CATI surveys while still keeping costs low. To take maximal advantage of this design, the optimal mixture parameter of the mobile and fixed telephone sub-sample should be formulated. An analytical optimization approach maximizing accuracy and minimizing corresponding survey costs was used in our research in order to determine how to mix the two sub-samples. Objavljeno v Springer; Telephone surveys in Europe; 2012; Str. 275-294; Avtorji / Authors: Vehovar Vasja, Slavec Ana Tipologija 1.16 Samostojni znanstveni sestavek ali poglavje v monografski publikaciji 9.Najpomembnejši družbeno-ekonomsko relevantni rezultati projektne skupine8 Družbenoekonomsko relevantni dosežki 1. COBISS ID 30851933 Vir: COBISS.SI Naslov SLO Anketni proces na spletu kot del koncepta e-družboslovja ANG Web survey process within the concept of eSocial sciences Opis SLO Na mednarodni konferenci "Advancing survey methods" v Bremnu, Nemčija, je imel dr. Vasja Vehovar v novembru 2011 vabljeno predavanje z naslovom "Web survey methodology within the context of eSocialSciences". Dr. Vasja Vehovar je govoril o integriranem razvoju spletnih vprašalnikov; eden od elementov predstavitve je bil tudi online razvoj vprašalnika (brez predhodne Word verzije ter odgovarjajčih email izmenjav inačic v Wordu), kjer je ilustriral protitipno rešitev. Rešitev je zanimiva za vse, ki razvijajo kompleksne vprašalnike. Konferenca je sicer potekala 17. in 18. novembra, med povabljeni predavatelji pa so bili še Edith de Leeuw, University of Utrecht (NL), Joop Hox, University of Utrecht (NL), Ineke Stoop, The Netherlands Institute for Social Research/SCP (NL) in Patrick Sturgis, University of Southampton (UK). ANG Scientific surveys represent an indispensable instrument of social research. In view of the list of errors that may threaten survey quality, there exists a continuing need of research on survey methods. This applies all the more, the more social change and technological progress challenge the present way of conducting survey research. The 2nd International Conference of the German Priority Programme on Survey Methodology (PPSM) with the title "Advancing survey methods" on 17th and 18th of November in Bremen, Germany, was targeting on recent advancements of methods developed for surveys to be conducted over the Internet, over the phone, by facetoface interviews or mail questionnaires. Dr. Vasja Vehovar attended the conference and made a presentation on "Web survey methodology within the context of eSocialSciences". He presented an integrated development of online questionnaires. Šifra B.04 Vabljeno predavanje Objavljeno v PPSM; Advancing survey methods; 2011; Str. 6; Avtorji / Authors: Vehovar Vasja Tipologija 1.10 Objavljeni povzetek znanstvenega prispevka na konferenci (vabljeno predavanje) 2. COBISS ID 31657309 Vir: COBISS.SI Naslov SLO Anketiranje splošne populacije: potrebujemo? Katere vrste eksperimentov še ANG Surveying general population Anketiranje splošne populacije na osnovi verjetnostnih vzorcev je eden ključnih izzivov pri uporabi spletnih anket. Različne vrste spletnih panelov Opis SLO lahko predstavljajo sprejemljivo alternativo za številne ankete, vendar še zdaleč ne zadostijo zahtevam resnih akademskih in uradnih anket. Verjetnostni paneli se nakazujejo kot še obetavnejša alternativa, pri čemer pa zahtevajo visoka infrastrukturna vlaganja in so zato vzpostavljeni v le redkih državah. Po drugi strani so bili izvedeni številni poskusi vključevanja spletnega načina anketiranja v verjetnostne vzorce enkratnih študij. V predstavitvi obravnavamo izkušnje z eno izmed takšnih študij v Sloveniji. Osredotočamo se tudi na eksperimentalne načrte, ki niso bili realizirani zaradi ugotovljene nizke dodane vrednosti. Vse predstavljene raziskave uporabljajo pristop, pri katerem so osebe izbrane iz registra prebivalcev in povabljene k sodelovanju v spletni anketi po običajni pošti, v nekaterih primerih z dodanimi nagradami. Nadaljnji koraki teh študij so bili izvedeni s telefonskim ali osebnim anketiranjem. Osrednje vprašanje pri tem je, ali so stopnje odgovora v spletnih fazah anketiranja zadostne, da lahko doseženi prihranki odtehtajo potencialne težave z učinki načina anketiranja ter administrativno kompleksnost takšnega kombiniranega načina anketiranja. ANG Surveying general population - within probability sampling approach - is one of the major challenges of applying web survey questionnaires. Various types of web access panels might be a good enough alternative for many surveys, however, when we talk about official surveys and about serious academic surveys this is still far from being the case. Similarly, a probability based panels may be even more promising alternative, however, it similarly requires a considerable infrastructure investments and so far very few countries have it. On the other hand, there are numerous attempts for involving web survey mode within probability sample selection context in one-shot research studies. In this presentation we overview the experience with this type of studies done in Slovenia. In addition, we also present experimental studies that were not done (although anticipated), because it was found that the added value of such experiments would be too little. All presented studies use the approach where persons are selected from the register of population and then invited by ordinary mail -sometimes also with incentives - to do a web surveys, while in further stages the telephone or/and face-to-face interviews were attempted. The main question here is, whether the response rate in web stage is large enough, so that the corresponding benefits (predominantly the savings of resources) can compensate the potential mode-effect problems and particularly the increased administration complexity of such mixed mode designs. Šifra B.03 Referat na mednarodni znanstveni konferenci Objavljeno v 2012; Avtorji / Authors: Vehovar Vasja, Berzelak Jernej Tipologija 3.15 Prispevek na konferenci brez natisa 3. COBISS ID 31657053 Vir: COBISS.SI Naslov SLO Spletni paneli v Sloveniji ANG Web panels in Slovenia Opis SLO V anketnem raziskovanju narašča število anket izvedenih na spletu, predvsem zaradi pomembnih prednosti spletnih anket v primerjavi z drugimi načini anketiranja. Pričakujemo lahko tudi povečanje deleža ljudi z dostopom do spleta, zlasti v ruralnih okoljih in med starejšimi generacijami, kar bo prispevalo k zmanjšanju razlik med spletnimi respondenti in splošno populacijo. Poseben pomen pridobivajo spletni paneli, kjer anketiranci sodelujejo v raziskavah dalj časa (eno leto ali več), na ankete odgovarjajo redno (tedensko ali mesečno) in so za sodelovanje nagrajeni. Z nekajletnim zaostankom so se takšni paneli pojavili tudi v Sloveniji. V prispevku najprej obravnavamo splošne probleme spletnih anket in spletnih panelov, nato pa se osredotočamo na podroben pregled stanja v Sloveniji. V ta namen smo izvedli intervjuje in ankete med ponudniki spletnih panelov. Izkazalo se je, da so si paneli precej podobni glede na velikost, značilnosti, upravljanje in metodološke pristope. Analiza kaže tudi, da so rezultati anket iz spletnih panelov obetavni, četudi v vseh primerih ne predstavljajo splošne populacije. Tako lahko pričakujemo hitro rast uporabe spletnih panelov v Sloveniji. ANG There is an increase of surveys, performed through the web and we can also expect fast further development, especially because of the advantages which web surveys bring, compared to other means of data collection. We can also expect that the percentage of people with internet access will increase (rural population and older generations) and respondents in web surveys will differ less from the general population. Web panels are becoming especially important in web surveying, where the respondents are included in the survey for longer periods of time (i.e. a year or more), they receive surveys regularly (i.e. weekly or monthly) and are rewarded for their cooperation. With several years of delay, web panels have also arrived to Slovenia. In this paper, we first address the general problems of web surveys and web panels in particular, and then we present the situation in Slovenia in detail. Within this procedure, we have performed interviews or surveys with web panel providers. It has been shown that their size, characteristics, management and methodological approaches are quite similar. Analyses also show that survey results in web panels are encouraging, although they do not represent the entire population in all cases. But we can still expect further rapid increase of web panel use in Slovenia. Šifra B.03 Referat na mednarodni znanstveni konferenci Objavljeno v 2012; Avtorji / Authors: Lenar Jurij, Vehovar Vasja Tipologija 3.15 Prispevek na konferenci brez natisa 4. COBISS ID 21162214 Vir: COBISS.SI Naslov SLO Kognitivni pristop k študiju anket podjetij ANG Cognitive approach to studying performace in business surveys Opis SLO Prispevek aplicira ugotovitve kognitivne psihologije na dve fazi statistične produkcije, ki se opirata na ekspertno znanje, to je izpolnjevanje vprašalnikov in urejanje zbranih podatkov v anketi podjetij in drugih organizacij o investicijah. Predstavlja rezultate empirične študije, v kateri smo izvedli globinske intervjuje z različnimi strokovnjaki (urejevalci podatkov, respondenti v podjetjih in vsebinskih svetovalcev), da bi dobili vpogled v to, kako urejevalci in respondenti razumejo in si razlagajo anketna vprašanja in navodila ter kako gradijo miselne predstave. ANG The paper presents the application of cognitive psychology findings to study two phases of statistics production that rely on expert knowledge, namely filling in questionnaires and editing collected data in a business survey on investments. It presents the results of an empirical study in which we conducted in-depth interviews with various experts (data editor, business respondent and a subjects-matter specialist) to gain insight into how editors and respondents understand and interpret the survey questions and instructions and how they build the mental representation. Šifra B.03 Referat na mednarodni znanstveni konferenci Objavljeno v American Statistical Association; Fourth International Conference on Establishment Surveys; 2012; Avtorji / Authors: Bavdaž Mojca, Bolko Irena Tipologija 1.12 Objavljeni povzetek znanstvenega prispevka na konferenci 5. COBISS ID 21160678 Vir: COBISS.SI Naslov SLO Kognitivni vidiki anket podjetij - predstavitev predloga disertacije ANG Cognitive aspects of business surveys - presentation of thesis proposal Opis SLO Prispevek se osredotoča na teorije kognitivne psihologije in njihovo razširitev na ankete podjetij. Pozornost je usmerjena na dve fazi statistične produkcije v anketah podjetij, ki se opirata na ekspertno znanje, in sicer izpolnjevanje vprašalnikov in urejanje zbranih podatkov, za kateri je značilno specifično ekspertno znanje. Posebej sta izpostavljena dva ključna elementa kognitivnega sistema - kratkoročni (delovni) spomin, ki je vključen v procese odločanja (npr. oblikovanje odgovora, odločitev glede urejanja) in dolgoročni spomin, kjer se znanje shranjuje in kasneje uporabi v delovnem spominu v procesu odločanja. ANG Paper focuses on theories in cognitive psychology and their potential extension to business surveys. Two phases of statistical production in business surveys are studied, namely filling in a questionnaire and editing collected data, both characterised by specific expert knowledge. Special attention is given to two key elements of cognitive system - short-term (working) memory that is involved in decision making processes (e.g. formulating the response, editing decision) and long-term memory where knowledge is stored and later in the process of decision making retrieved in working memory. Šifra B.03 Referat na mednarodni znanstveni konferenci Objavljeno v Swiss Federal Statistical Office; Book of abstract; 2011; str. [3]; Avtorji / Authors: Bolko Irena, Bavdaž Mojca Tipologija 1.12 Objavljeni povzetek znanstvenega prispevka na konferenci 10.Drugi pomembni rezultati projektne skupine9 Rezultati projekta so bili predstavljeni ciljni populaciji več kot 200 uporabnikom spletnih anket v Sloveniji na dogodku Dan spletnega anketiranja (14. november 2012) na Fakulteti za družbene vede Univerze v Ljubljani. Predstavljeni so bili tudi vrhunskim ekspertom za spletno anketiranje na International Internet Survey Methodology Workshop (Ljubljana, 14.-16. november 2012), na največji svetovni konferenci s področja anketnega raziskovanja v podjetjih in organizacijah International Conference on Establishment Surveys (Montreal, 11.-14. junij 2012) ter vrhunskim evropskim ekspertom za statistike podjetij na European Establishment Statistics Workshop (Neuchâtel, 12.-14. september 2011). 11.Pomen raziskovalnih rezultatov projektne skupine10 11.1.Pomen za razvoj znanosti11 SLO_ Rezultati se umeščajo v jedro najbolj aktualnih raziskav na obravnavanem področju. ANG_ The results form part of the core research themes in the studied field. 11.2.Pomen za razvoj Slovenije12 SLO_ Rezultati predstavljajo prispevek k naporom Statističnega urada Republike Slovenije za učinkovito produkcijo kakovostnih uradnih statistik. ANG_ The results represent a contribution to efforts of the Statistical Office of the Republic of Slovenia for efficient production of high quality official statistics. 12.Vpetost raziskovalnih rezultatov projektne skupine. 12.1.Vpetost raziskave v domače okolje Kje obstaja verjetnost, da bodo vaša znanstvena spoznanja deležna zaznavnega odziva? 0 v domačih znanstvenih krogih 0 pri domačih uporabnikih Kdo (poleg sofinancerjev) že izraža interes po vaših spoznanjih oziroma rezultatih?13 Na konferenci Dan spletnega anketiranja so zanimanje in potrebo po seznanjanju s tovrstnimi raziskavami izrazili vsi udeleženci. Rezultati so posebej relevantni za ankete, ki jih izvajajo v javnem sektorju (npr. Inštitut za varovanje zdravja), posebej akademske (npr. Evropska družboslovna raziskava, Slovensko javno mnenje). Zanimanje izražajo tudi tržne agencije. 12.2.Vpetost raziskave v tuje okolje Kje obstaja verjetnost, da bodo vaša znanstvena spoznanja deležna zaznavnega odziva? 0 v mednarodnih znanstvenih krogih 0 pri mednarodnih uporabnikih Navedite število in obliko formalnega raziskovalnega sodelovanja s tujini raziskovalnimi inštitucijami:— Rezultati vstopajo v številne neformalne izmenjave in komunikacije z raziskovalci iz EU in ZDA, ki so navedeni v preteklih skupnih publikacijah in so sodelovali v skupnih raziskovalnih projektih. Posebej bodo zanimivi za evropski statistični urad Eurostat in vse partnerje evropskega statističnega sistema, saj se povsod srečujejo s podobnimi izzivi zniževanja stroškov in optimizacije resursov. Rezultati bodo predstavljali tudi osnovo za formalne in neformalne projekte v bodoče. Kateri so rezultati tovrstnega sodelovanja:15 Načrtujemo predstavitve na več konferencah (Internet Survey Methodology Workshop, AAPOR, ESRA, Methodology and Statistics, EESW13, BDCM) ter objavo več člankov. Med drugim bo del rezultatov vključenih tudi v knjigo, ki jo Vasja Vehovar in Katja Lozar Manfreda pišeta za založbo Sage - Web Survey Methodology, http://www.uk.sagepub.com/books/Book235868. C. IZJAVE Podpisani izjavljam/o, da: • so vsi podatki, ki jih navajamo v poročilu, resnični in točni • se strinjamo z obdelavo podatkov v skladu z zakonodajo o varstvu osebnih podatkov za potrebe ocenjevanja in obdelavo teh podatkov za evidence ARRS • so vsi podatki v obrazcu v elektronski obliki identični podatkom v obrazcu v pisni obliki • so z vsebino letnega poročila seznanjeni in se strinjajo vsi soizvajalci projekta • bomo sofinancerjem istočasno z zaključnim poročilom predložili tudi študijo ali elaborat, skladno z zahtevami sofinancerjev Podpisi: zastopnik oz. pooblaščena oseba i vodja raziskovalnega projekta: raziskovalne organizacije: Univerza v Ljubljani, Ekonomska Mojca Bavdaž fakulteta ŽIG Kraj in datum: Ljubljana 15.12.2012 Oznaka prijave: ARRS-CRP-ZP-2012-06/1 1 Zaradi spremembe klasifikacije je potrebno v poročilu opredeliti raziskovalno področje po novi klasifikaciji FOS 2007 (Fields of Science). Prevajalna tabela med raziskovalnimi področji po klasifikaciji ARRS ter po klasifikaciji FOS 2007 (Fields of Science) s kategorijami WOS (Web of Science) kot podpodročji je dostopna na spletni strani agencije (http://www.arrs.gov.si/sl/gradivo/sifranti/preslik-vpp-fos-wos.asp). Nazaj 2 Podpisano izjavo sofinancerja/sofinancerjev, s katero potrjuje/jo, da delo na projektu potekalo skladno s programom, skupaj z vsebinsko obrazložitvijo o potencialnih učinkih rezultatov projekta obvezno priložite obrazcu kot priponko (v skeniranem PDF formatu) in jo v primeru, da poročilo ni polno digitalno podpisano, pošljite po pošti na Javno agencijo za raziskovalno dejavnost RS. Nazaj 3 Napišite povzetek raziskovalnega projekta (največ 3.000 znakov v slovenskem in angleškem jeziku) Nazaj 4 Napišite kratko vsebinsko poročilo, kjer boste predstavili raziskovalno hipotezo in opis raziskovanja. Navedite ključne ugotovitve, znanstvena spoznanja, rezultate in učinke raziskovalnega projekta in njihovo uporabo ter sodelovanje s tujimi partnerji. Največ 12.000 znakov vključno s presledki (približno dve strani, velikosti pisave 11). Nazaj 5 Realizacija raziskovalne hipoteze. Največ 3.000 znakov vključno s presledki (približno pol strani, velikosti pisave 11) Nazaj 6 V primeru bistvenih odstopanj in sprememb od predvidenega programa raziskovalnega projekta, kot je bil zapisan v predlogu raziskovalnega projekta oziroma v primeru sprememb, povečanja ali zmanjšanja sestave projektne skupine v zadnjem letu izvajanja projekta (obrazložitev). V primeru, da sprememb ni bilo, to navedite. Največ 6.000 znakov vključno s presledki (približno ena stran, velikosti pisave 11). Nazaj 7 Znanstveni in družbeno-ekonomski dosežki v programu in projektu so lahko enaki, saj se projekna vsebina praviloma nanaša na širšo problematiko raziskovalnega programa, zato pričakujemo, da bo večina izjemnih dosežkov raziskovalnih programov dokumentirana tudi med izjemnimi dosežki različnih raziskovalnih projektov. Raziskovalni dosežek iz obdobja izvajanja projekta (do oddaje zaključnega poročila) vpišete tako, da izpolnite COBISS kodo dosežka - sistem nato sam izpolni naslov objave, naziv, IF in srednjo vrednost revije, naziv FOS področja ter podatek, ali je dosežek uvrščen v A'' ali A'. Nazaj 8 Znanstveni in družbeno-ekonomski dosežki v programu in projektu so lahko enaki, saj se projekna vsebina praviloma nanaša na širšo problematiko raziskovalnega programa, zato pričakujemo, da bo večina izjemnih dosežkov raziskovalnih programov dokumentirana tudi med izjemnimi dosežki različnih raziskovalnih projektov. Družbeno-ekonomski rezultat iz obdobja izvajanja projekta (do oddaje zaključnega poročila) vpišete tako, da izpolnite COBISS kodo dosežka - sistem nato sam izpolni naslov objave, naziv, IF in srednjo vrednost revije, naziv FOS področja ter podatek, ali je dosežek uvrščen v A'' ali A'. Družbenoekonomski dosežek je po svoji strukturi drugačen, kot znanstveni dosežek. Povzetek znanstvenega dosežka je praviloma povzetek bibliografske enote (članka, knjige), v kateri je dosežek objavljen. Povzetek družbeno ekonomsko relevantnega dosežka praviloma ni povzetek bibliografske enote, ki ta dosežek dokumentira, ker je dosežek sklop več rezultatov raziskovanja, ki je lahko dokumentiran v različnih bibliografskih enotah. COBISS ID zato ni enoznačen izjemoma pa ga lahko tudi ni (npr. v preteklem letu vodja meni, da je izjemen dosežek to, da sta se dva mlajša sodelavca zaposlila v gospodarstvu na pomembnih raziskovalnih nalogah, ali ustanovila svoje podjetje, ki je rezultat prejšnjega dela ... - v obeh primerih ni COBISS ID). Nazaj 9 Navedite rezultate raziskovalnega projekta iz obdobja izvajanja projekta (do oddaje zaključnega poročila) v primeru, da katerega od rezultatov ni mogoče navesti v točkah 7 in 8 (npr. ker se ga v sistemu COBISS ne vodi). Največ 2.000 znakov vključno s presledki. Nazaj 10 Pomen raziskovalnih rezultatov za razvoj znanosti in za razvoj Slovenije bo objavljen na spletni strani: http://sicris.izum.si/ za posamezen projekt, ki je predmet poročanja Nazaj 11 Največ 4.000 znakov vključno s presledki Nazaj 12 Največ 4.000 znakov vključno s presledki Nazaj 13 Največ 500 znakov vključno s presledki (velikosti pisave 11) Nazaj 14 Največ 500 znakov vključno s presledki (velikosti pisave 11) Nazaj 15 Največ 1.000 znakov vključno s presledki (velikosti pisave 11) Nazaj Obrazec: ARRS-CRP-ZP/2012-06 v1.00c D9-B1-D4-1D-6F-D0-48-81-4A-36-39-B4-AF-F1-C0-64-A7-E7-D1-FD EFMD EQUIS ACdteoiTCD Končno poročilo za ciljni raziskovalni projekt (CRP) Stroški in napake v uradnih anketah Šifra projekta Vl-1003 Avtorji: Mojca Bavdaž, EF Nejc Berzelak, FDV Irena Bolko, EF Marcel Kralj, FDV Aleša Lotrič Dolinar, EF Irena Ograjenšek, EF Vasja Vehovar, FDV Ljubljana, november 2012 Raziskovalni projekt sta financirala Statistični urad Republike Slovenije in Javna agencija za raziskovalno dejavnost Republike Slovenije po pogodbi 1000-10-281003 o financiranju in izvajanju raziskovalnega projekta št. VI-1003 v okviru Ciljnega raziskovalnega programa »KONKURENČNOST SLOVENIJE 2006-2013«. Kazalo I. PREDGOVOR........................................ ..........................................................................................6 II. KOMBINIRANJE RAZLIČNIH NAČINOV ANKETIRANJA V URADNIH ANKETAH..................................7 1. UVOD................. .................................................................................................................................7 1.1 Opredelitev raziskovalnega problema....................................................................................................................g 1.2 Pregled literature..........................................................................0 ................................................................................... o 2. KLASIFIKACIJA KOMBINIRANIH NAČINOV....................................................................................................................g 2.1 Kombiniranje načinov v fazi začetnega kontaktiranja................................................. 10 2.1.1 Način najave ankete je različen od načina zbiranja podatkov.......................................10 2.1.2 Način vabljenja, presejalnega (screening) vprašalnika ali izbora enot je različen od načina zbiranja podatkov........................................................................................................................10 2.2 Kombiniranje načinov v fazi zbiranja podatkov..................................................................................................10 2.2.1 Različni načini za različne enote iz istega vzorca v eni časovni točki in z enakim vprašalnikom............................................................... 2.2.2 Različni načini za različne dele vprašalnika za vse enote iz istega vzorca v eni časovni točki in z enakim vprašalnikom..........................................................................................................................^ 2.2.3 Različni načini v različnih časovnih točkah na enotah istem vzorcu (panel).................12 2.2.4 Različni načini v različnih časovnih točkah na različnih vzorcih (enotah)......................12 2.3 Kombiniranje načinov v fazi opomnikov........................................................................................................12 2.4 Druge oblike kombiniranja načinov............................................................................................................13 3. KLASIFIKACIJA ANKET SURS....................................................................... 4. METODOLOGIJA............ .............................................................................................................19 4.1 Izhodišča.................. .......................................................................................................................19 4.2 Eksperimentalni načrt in potek zbiranja podatkov....................................................................................................19 4.3 Uteževanje........................................................................................................................2 5. ANALIZA SODELOVANJA........................................................................... 5.1 Stopnje odgovora po fazah anketiranja........................................................................................................................21 5.2 Stopnje odgovora po demografskih značilnostih........................................................... 23 5.3 Primerjava neuteženih podatkov s CRP........................................................................................................25 6. RAZLIKE V OCENAH.............. .........................................................................................................1 6.1 Pregled razlik v končnih ocenah ključnih spremenljivk................................................................................1 6.2 Razlike v ocenah ključnih spremenljivk po fazah anketiranja.................................................. 9. PRILOGE.........................................................................................................................................12 Priloga 1: Poštno vabilo k sodelovanju v spletni anketi....................................................................12 Priloga 2: Dopis k poštni anketi.........................................................................................................13 Priloga 3: Poštni vprašalnik...............................................................................................................14 III. POVEZOVANJE PROCESA ODGOVARJANJA IN UREJANJA V URADNIH ANKETAH PODJETIJ.............16 1. ZNAČILNOSTI URADNIH ANKET PODJETIJ IN OPREDELITEV RAZISKOVALNEGA PROBLEMA.........16 1.1 Značilnosti uradnih anket podjetij.........................................................................................16 1.2 Raziskovalni problem.............................................................................................................17 2. PREGLED UREJANJA PODATKOV V URADNIH ANKETAH PODJETIJ................................................18 2.1 Napake in kontrole (pravila urejanja)....................................................................................I9 2.2 Metode urejanja podatkov....................................................................................................21 2.2.1 Ročno urejanje podatkov..............................................................................................22 2.2.2 Avtomatsko urejanje podatkov.....................................................................................23 2.2.3 Selektivno urejanje podatkov........................................................................................25 2.2.4 Urejanje podatkov na makro ravni................................................................................26 2.3 Primerjava metod urejanja podatkov...................................................................................27 2.4 Urejanje podatkov na SURS...................................................................................................28 3. PREGLED AKTUALNIH KOGNITIVNO PSIHOLOŠKIH SPOZNANJ Z OCENO RELEVANTNOSTI ZA RAZISKOVALNI PROBLEM......................................................................................................................30 3.1 Spomin...................................................................................................................................30 3.1.1 Dolgoročni spomin........................................................................................................3i 3.1.2 Delovni spomin..............................................................................................................3i 3.2 Organizacija in reprezentacija znanja....................................................................................32 3.2.1 Miselne predstave.........................................................................................................33 3.2.2 Spomin, miselne predstave in organizacija znanja pri strokovnjakih............................34 3.3 Ocena relevantnosti kognitivno psiholoških spoznanj za proces odgovarjanja in urejanja v anketah podjetij................................................................................................................................36 4. EMPIRIČNI DEL RAZISKAVE............................................................................................................37 4.1 Predstavitev izbrane ankete podjetij.....................................................................................37 4.2 Metodologija.........................................................................................................................38 4.2.1 Osebni intervjuji s strokovnjaki.....................................................................................38 4.2.2 Osebni in telefonski intervjuji s podjetji........................................................................38 4.2.3 Testiranje potencialnih in aktualnih respondentov......................................................39 4.2.4 Podatki o urejanju........................................................................................................... 4.3 Rezultati............................................................................................................................. 40 4.3.1 Študija procesa odgovarjanja.......................................................................................... 4.3.2 Analiza urejanja podatkov............................................................................................... 4.4 Ugotovitve in priporočila.................................................................................................... 5. LITERATURA................................................................................................„ i. predgovor Mojca Bavdaž, Vasja Vehovar Na področju anketne metodologije se soočamo z vse bolj resnimi problemi nesodelovanja respondentov, pa tudi z naraščajočimi stroški. Prihajajoče omejitve študentskega dela in prehod na mobilno telefonsko anketiranje bosta problem stroškov še zaostrila. Vse večji pritiski na zviševanje produktivnosti bodo poslabšali tudi sodelovanje in kakovost poročanja v anketah podjetij. Vse navedeno je posebej kritično za uradne ankete, saj so statistični uradi zavezani k verjetnostnim vzorcem in visoki kakovosti objavljenih rezultatov. Optimizacija stroškov in kakovosti podatkov v veliki meri poteka preko kombiniranja različnih načinov anketiranja (osebno, telefonsko, pisemsko, spletno). Tovrstno kombiniranje se v večini anket že odvija, vendar pa gre v navedenih primerih zgolj za specifične razloge kombiniranja načinov, ne pa za splošno in sistematično iskanje optimalne kombinacije različnih načinov anketiranja, ki je cilj predlaganega projekta. V anketah podjetij je optimizacija stroškov in kakovosti podatkov potrebna tudi na področju sedaj zelo dragega in časovno potratnega urejanja podatkov, ki je mnogokrat posledica (pre)slabega izpolnjevanja vprašalnikov v procesu odgovarjanja in posledičnih merskih napak. Raziskave o napakah pri izpolnjevanju vprašalnikov in optimizaciji urejanja tipično potekajo ločeno, cilj predlaganega projekta pa je povezati ti dve področji. V okviru projekta smo skušali odgovoriti na dva sklopa raziskovalnih vprašanj: • Kako v splošnem presoditi o primernosti različnih kombinacij načinov kontaktiranja/anketiranja? Kako za posamezne segmente oz. enote poiskati optimalno uporabo načinov kontaktiranja/anketiranja in kako izrabiti razpoložljive metapodatke za optimiziranje anketnega procesa? • Ali in kako informacije o merskih napakah, pridobljene pri študiju procesa odgovarjanja v anketi podjetij, lahko služijo pri urejanju podatkov? Ali in kdaj je smiselno za različne skupine podjetij oblikovati različne pristope k urejanju podatkov in kako izrabiti razpoložljive metapodatke za optimiziranje te faze? Na prvi sklop raziskovalnih vprašanj odgovarjamo v sekciji II. Kombiniranje različnih načinov anketiranja v uradnih anketah; na drugi sklop raziskovalnih vprašanj pa odgovarjamo v sekciji III. Povezovanje procesa odgovarjanja in urejanja v uradnih anketah podjetij. ii. kombiniranje različnih načinov anketiranja v uradnih anketah Vasja Vehovar, Nejc Berzelak in Marcel Kralj 1. uvod Zbiranje podatkov z anketami na osnovi verjetnostnih vzorcev je v uradni statistiki osrednji način pridobivanja informacij. V zadnjih letih se pri tem soočamo z dramatičnim upadom stopnje sodelovanja, pa tudi z naraščajočimi stroški. Stroški rastejo zaradi vrste razlogov: zaradi naraščajočih urnih postavk anketarjev (vse večje obdavčitve študentskega oziroma malega dela), zaradi vse večjega števila kontaktov, ki so potrebni za izpolnjeno anketo (večje število obiskov, večje število klicev) in tudi zaradi naraščajočega vstopa mobilnega telefona, ki je dražji od telefoniranja po fiksnem telefonu. Na drugi strani se sicer vse bolj uveljavlja uporaba spletnih anket, ki na prvi pogled lahko ublažijo problem stroškov, vendar pa prinašajo dodatne težave v vodenje anketnega procesa. Spletne ankete se namreč praviloma lahko uporabljajo le v kompleksni in komplicirani kombinaciji z ostalimi načini anektiranja. Posebej so spletne ankete kritične pri rekrutiranju respondentov, saj preko interneta s potencialnim respondentom ni mogoče navezati stika (ne obstaja imenik e-poštnih naslovov). Vse navedeno je kritično predvsem v anketah z verjetnostnimi vzorci, ki pa predstavljajo v uradnih anketah enega ključnih elementov za kvaliteto podatkov, pridobljenih z anketnimi raziskavami. Precej drugače je v marketinškem raziskovanju, kjer verjetnostno vzorčenje običajno ni tako zelo kritična komponenta. Zaradi vseh navedenih razlogov postajajo anketne raziskave, ki temeljijo na verjetnostnih vzorcih, vse dražje. Pri enakih resursih in pri nespremenjenih raziskovalnih načrtih je zato težko obdržati doseženo velikost vzorca, zadržati dosežene stopnje sodelovanje in siceršnjo kvaliteto anketnih podatkov. V razmerah, ko je povečevanje proračunov za posamezne raziskave vse bolj težavno, postaja optimizacija raziskovalnega načrta ena ključnih komponent za nižanje stroškov oziroma za ohranjanje kvalitete raziskave brez dodatnega povečevanja stroškov. V anketah, ki temeljijo na verjetnostnem vzorcu populacije, se uporaba vseh načinov anektiranja tudi sicer sooča s številnimi metodološkimi problemi, povezanimi z vzorčenjem, z neodgovori, z optimalno uporabo tehnologije in s kombinacijo načinov anketiranja (mixed modes), kjer govorimo predvsem o naslednjih petih načinih anketiranja: 1. osebno anketiranje, 2. telefonsko anketiranje po fiksnem telefonu, 3. telefonsko anketiranje po mobilnem telefonu, 4. anketiranje po pošti (samoizpolnjevanje), 5. anketiranje preko spleta (samoizpolnjevanje), Vsak način anketiranja ima vrsto posebnosti pri kontaktiranju in pri anketiranju. Vsakega lahko uporabimo tako za doseganje kontakta kot tudi za izpolnjevanje ankete. Respondenta lahko na primer pozovemo s pismom, da na izbranem URL naslovu izpolni spletno anketo. Podobno se lahko po telefonu dogovorimo za osebni obisk in osebno anketiranje. Mobilni telefon, katerega telefonsko številko posreduje respondent v prvem kontaktu, pa je v tem okviru posebej primeren za dodatne valove anketiranja. Seveda postane kombiniranje tako velikega števila možnosti hitro zeio kompleksno. Že v prvem koraku imamo namreč načeloma 5x5=25 možnih načinov kontaktiranja in anketiranja. Nekatere možnosti so sicer bolj pogoste (npr. prvi telefonski kontakt in tudi telefonska anketa), druge so morda zgolj teoretične, npr. osebni kontakt in nato anektiranje preko spleta. V vsakem primeru pa se z nadaljnjimi kontakti število možnosti hitro povečuje. Za drugi val anketiranja imamo tako teoretično na voljo že 25x25 možnosti itd. Problematika se dodatno zaplete, ker je mogoče na vsakem koraku in pri vsaki kombinaciji načinov anketiranja/kontaktiranja respondenta vzpodbuditi tudi z različnimi denarnimi in nedenarnimi vzpodbudami. Primerjanje različnih kombinacij in izbor optimalne rešitve zato predstavlja zahteven problem, ki terja zelo specifično modeliranje. 1.1 Opredelitev raziskovalnega problema Problem v zvezi s kombiniranjem različnih načinov anketiranja lahko opredelimo na dveh nivojih. Prvi nivo je agregatni nivo ankete, kjer iz določenih razlogov v različnih segmentih kombiniramo različne načine kontaktiranja in anketiranja. Pri tem lahko različne načine apliciramo ločeno na določenih segmentih, ki so določeni že vnaprej, npr. na osnovi znanih podatkov (stratumih) ali pa na segmentih, ki so določeni na osnovi preteklih rezultatov anketiranja. Tako lahko na primer v panelnih raziskavah, kjer je prvi val potekal osebno, za nadaljnje valove izberemo cenejši način anketiranja po telefonu ali e-pošti. Po drugi strani pa v primeru neodgovorov v prvem valu (npr. telefonska anketa) na segmentu nerespndentov nadaljujemo z dražjo metodo, ki daje višjo stopno sodelovanja, kakršno je osebno anektiranje). V vsakem primeru je takemu pristopu skupno to, da enote obravnavamo v določenih agregatih (segmentih, stratumih) in nato nanje apliciramo določeno zaporedje načinov anketiranja. Pri tem seveda iščemo zaporedje, ki optimizira stroške in napake. Drugi problem se pojavlja na individualnem nivoju, kjer vsakega respondenta obravnavamo posebej. Pri tem uporabimo vnaprej znane podatke o enoti (npr. iz registrov) kot tudi vse podatke, ki smo jih pridobili v dosedanjih valovih anketiranja (v prvem valu tega seveda ni, kasneje pa vedno več). Pri tem gre tako za podatke iz morebitnih odgovorov kot tudi za parapodatke na osnovi anketarjevega opazovanja (tip soseske, zaznamek o obnašanju anketirancev ipd). Naš cilj torej je, da na osnovi vseh razpoložljivih podatkov na vsakem koraku izvedemo način kontaktiranja oziroma anketiranja, ki je na določeni točki za izbrano enoto optimalen. Pri tem z vidika optimizacije celotnega procesa hkrati opazujemo stroške ter napake. Zanima nas torej, ali in za kakšno ceno ter pod kakšnimi pogoji je smiselno in potrebno v ankete gospodinjstev vključevati cenejše načine anketiranja, predvsem telefonsko, poštno in spletno anketiranje (slednje posebej glede na težave s kontaktiranjem) 1.2 Pregled literature Problema naraščajočih stroškov anketnega raziskovanja in upadanja stopenj sodelovanja sta botrovala k pospešenemu proučevanju uvajanja novih pristopov k anketiranju. Raziskovalni projekt MESS na Nizozemskem (Das, 2006) ter soroden projekt v ZDA (Krosnick, 2006) sta ena izmed največjih projektov na področju anketne metodologije. Oba temeljita na vzpostavljenih spletnih panelih splošne populacije in proučujeta možnosti prehoda na verjetnostno anketiranje prek spleta. Problema optimizacije zbiranja podatkov se lotevajo tudi izvajalci največjih anketnih raziskav na svetu: O'Muircheartaigh idr. (2007) so izvedli poskuse uvajanja spletnega načina v ameriški General Social Survey, v okviru European Social Survey pa potekajo intenzivna proučevanja prehoda na kombinirane načine anketiranja (Jackie, Roberts in Lynn, 2006). Osrednja cilja tovrstnih študij sta zagotavljanje kakovosti podatkov in nižanje raziskovalnih stroškov. Prvi vidik je v anketni metodologiji relativno natančno formaliziran (npr. Biemer in Lyberg, 2003; Groves, 1989; Lessler in Kalsbeek, 1992) in tudi vključen v standarde profesionalnih in uradnih raziskovalnih organizacij (npr. AAPOR, ESOMAR, Eurostat, IMF in nacionalni statistični uradi). Obširno elaborirani (seveda pa ne dokončno rešeni) so tudi specifični dejavniki vpliva na kakovost podatkov. Študije so tako potrdile različne stopnje sodelovanja med različnimi načini anketiranja, pri čemer so stopnje sodelovanja navadno nižje v spletnih anketah v primerjavi s tradicionalnimi načini anketiranja (npr. Fricker idr., 2005; Lozar Manfreda, Bošnjak, Berzelak, Haas, in Vehovar, 2008). Številne raziskave so se osredotočile na vlogo ustrezno vsebinsko in grafično pripravljenih vprašalnikov, učinkovitosti različnih načinov kontaktiranja in nagrajevanja anketirancev ter druge dejavnike v anketnem procesu (obširen pregled podaja Dillman, 2008). Vse več je tudi raziskav kakovosti podatkov v kombiniranih načinih anketiranja (deLeeuvv, 2005; Dillman, 2008), ki opozarjajo predvsem na pomembnost ukrepov za zmanjševanje učinka načina anketiranja. Bistveno manjša pozornost je v metodološki znanstveni literaturi namenjena stroškom in njihovemu povezovanju z napakami v smislu optimizacije. Dolnicar, Laesser, in Matus (2009) so z meta-analizo metodoloških študij spletnih anket pokazali, da le 30 % študij vsaj delno naslavlja stroškovni vidik. Čeprav je problem stroškov konceptualno elaboriral že Groves (1989), pa so sistematična raziskovanja optimizacije s celostnim upoštevanjem napak in stroškov zelo redka in večinoma omejena na vzorčenje (npr. Harter, Mach, VVolken, in Chapline, 2007; Deming, 1953; Elliott, Little, in Lewitzky, 2000; Kish, 1965). Bolj celostne primerjave alternativnih anketnih načrtov so izvedli Linacre in Trewin (1993), Vehovar, Lozar Manfreda in Batagelj (2001) ter Horngren, Lundquist in VVestline (2008). V nadaljevanju najprej prikazujemo klasifikacijo kombiniranih načinov in klasifikacijo anket SURS. Temu sledi predstavitev metodologije, rezultatov analize sodelovanje in razlik v ocenah ter sklep. 2. klasifikacija kombiniranih načinov Za razumevanje širokih možnosti uporabe kombiniranih načinov anketiranja in velikega števila možnih implementacij je pomembno ločiti 1) fazo kontaktiranja anketirancev (začetnega kontaktiranja in opomnikov za nerespondente) od 2) faze zbiranja podatkov (Slika 1). Gre namreč za relativno neodvisni fazi anketnega projekta, ki ju je mogoče skoraj poljubno kombinirati glede na posamezen raziskovalni problem. Slika 1: Ločevanje faze kontaktiranja in zbiranja podatkov V nadaljevanju v nekoliko razširjeni obliki predstavljamo najpogostejše načrte kombiniranih načinov anketiranja, kot jih razvršča de Leeuw (2005) za različne faze anketnega projekta: fazo začetnega kontaktiranja, fazo zbiranja podatkov in fazo opomnikov za nerespondente. 2.1 Kombiniranje načinov v fazi začetnega kontaktiranja 2.1.1 Način najave ankete je različen od načina zbiranja podatkov Gre za pristop, ki se uporablja zlasti za vzpostavitev legitimnosti in povečanja zaupanja v raziskavo (in s tem povečevanje stopnje sodelovanja). To je posebej pomembno v načinih, kjer je zaznana legitimnost anketiranja pogosto nižja (npr. telefonsko in spletno anketiranje). Najpogosteje uporabljani pristopi so poštna najava telefonske ali spletne ankete, telefonska ali poštna najava terenske ankete, v podjetjih pa velikokrat tudi telefonska najava poštne ankete. Pomembna lastnost tega pristopa je, da sam po sebi ne povzroča učinkov načina anketiranja, če samo zbiranje podatkov poteka z enim samim načinom. 2.1.2 Način vabljenja, presejalnega (screening) vprašalnika ali izbora enot je različen od načina zbiranja podatkov Tako kot za najavo ankete, je mogoče drugačen način kot za samo zbiranje podatkov uporabiti tudi za neposredno vabilo k sodelovanju. Najbolj tipičen primer je uporaba poštnega vabila za sodelovanje v spletni anketi. Tudi to poveča legitimnost in zaupanje, hkrati pa je prav v spletnih anketah splošne populacije takšen način skoraj vedno (z izjemo panelov) nujen, saj v veliki večini primerov nimamo na voljo naslovov elektronske pošte za kontaktiranje anketirancev. S tem pristopom lahko tudi zmanjšujemo napake nepokritja telefonskih anket. Posameznike, za katere nimamo na voljo telefonskih številk, s poštnim vabilom povabimo, da pokličejo brezplačno telefonsko številko za anketiranje. V slednjem primeru lahko seveda pričakujemo nižje stopnje sodelovanje kot v običajnih telefonskih anketah. Zlasti z razvojem spletnega anketiranja postajajo vse pogostejši kombinirani načini, pri katerih v prvi fazi izvedemo presejalni vprašalnik oziroma izbor enot. V spletnih anketah, na primer, najprej s telefonskim ali poštnim presejalnim vprašalnikom določimo enote, ki imajo splet in pridobimo kontaktne podatke za e-poštna vabila, nato pa izvedemo nadaljnje faze anketnega raziskovanja. To bistveno pripomore k odpravljanju problemov nepokritja in optimalnejši izbiri načinov anketiranja za različne enote. Opozoriti pa velja na možnost pojava učinka načina anketiranja, če je presejalni vprašalnik izveden z drugim načinom kot glavni anketni vprašalnik. 2.2 Kombiniranje načinov v fazi zbiranja podatkov 2.2.1 Različni načini za različne enote iz istega vzorca v eni časovni točki in z enakim vprašalnikom Uporaba različnih načinov za različne enote v vzorcu postaja vedno pogosteje uporabljena v anketnem raziskovanju. V splošnem je takšen pristop mogoče implementirati na tri načine: 1 izbirno, kjer anketiranec sam izbere način anketiranja; 2 sočasno, kjer raziskovalec določi najprimernejši način za posameznega anketiranca; ter 3 zaporedno, kjer so uporabljeni različni načini anketiranja v različnih fazah anketiranja. V izbirnem anketnem načrtu anketirancu ponudimo različne načine anketiranja, izmed katerih sam izbere najprimernejšega. To je smiselno predvsem v primeru uporabe načinov, ki za določene anketirance niso dostopni. Tako, na primer, anketirancu poleg vabila za sodelovanje v spletni anketi posredujemo še poštni vprašalnik ali pa telefonsko številko za telefonsko anketiranje. Raziskave pa v nasprotju s pričakovanji večinoma niso pokazale, da bi izbirnost pozitivno vplivala na sodelovanje zaradi preference anketiranca za posamezen način - v nekaterih primerih se je izkazalo celo nasprotno, kar je lahko posledica odlaganja odločitve o načinu na strani anketiranca, katere končni rezultat je neodgovor. Sočasni anketni načrt temelji na raziskovalčevi odločitvi o najprimernejšem načinu anketiranja za posameznega anketiranca. Izbira je pogosto odvisna od razpoložljivosti kontaktnih informacij. Primer je uporaba telefonske ankete za osebe z določenimi telefonskimi številkami in uporaba terenskega anketiranja za osebe brez določene telefonske številke. Odločitev o načinu anketiranja lahko temelji tudi na predhodnem poznavanju značilnosti določenih delov ciljne populacije (podpopulacij), kjer se odločimo za način, ki je za posamezno podpopulacijo ocenjen kot najoptimalnejši. Zaporedno anketiranje z različnimi načini velja za učinkovit način zmanjševanja neodgovora in je skladen z načeli Tailored Design Method (Dillman idr., 2009). V tem primeru nerespondente na posamezen način anketiramo z drugim načinom. Pogosto izberemo zaporedje načinov glede na njihovo stroškovno učinkovitost (npr. pričnemo s spletno anketo, nerespondente poskušamo anketirati telefonsko in preostale nerespondente še terensko). Poleg nižanja stopnje neodgovora lahko s tem zmanjšujemo tudi napako zaradi nepokritja v primeru, da posamezen način za določene anketirance ni dostopen. Uporaba različnih načinov anketiranja za različne enote iz vzorca lahko pomembno prispeva k večji stroškovni optimalnosti anketiranja ter višji stopnji sodelovanja in pokritja. Hkrati pa takšen pristop predstavlja potencialno grožnjo kakovosti podatkov zaradi možnosti nastanka učinkov načina anketiranja in s tem povečevanja merske napake. 2.2.2 Različni načini za različne dele vprašalnika za vse enote iz istega vzorca v eni časovni točki in z enakim vprašalnikom Ena izmed težav načinov anketiranja s prisotnostjo anketarja je nastanek družbeno zaželenega odgovarjanja ali zavračanja odgovorov na občutljiva vprašanja. Številne raziskave na tem področju so konsistentno pokazale, da so te strategije odgovarjanja na občutljiva vprašanja bistveno manj pogoste pri samoanketiranju. Predvsem v terenskih anketah je tako mogoče občutljiva vprašanja izvesti s samoanketiranjem (anketiranec sam odgovori na takšno vprašanje na anketarjevem računalniku ali na posebnem listu vprašalnika) in s tem izboljšati kakovost podatkov. 2.2.3 Različni načini v različnih časovnih točkah na enotah istem vzorcu (panel) Ta oblika kombiniranja načinov se nanaša predvsem na panelne raziskave, v katerih isti anketiranci sodelujejo večkrat, vendar jih v različnih valovih anketiranja anketiramo z različnimi načini. Različni načini v posameznih valovih panelnih raziskav so navadno uporabljeni iz praktičnih in stroškovnih razlogov. Najbolj običajen je pristop uporabe terenskega anketiranja v prvem valu anketiranja, s čimer zagotovimo višjo stopnjo sodelovanja, ter cenejših (poštnega, telefonskega ali spletnega) načinov v nadaljnjih valovih. Z razvojem intemeta in IKT se povečuje tudi pomen internetnih panelov, v katerih je prvi val izveden telefonsko ali terensko, nato pa anketiranje poteka primarno prek spleta. Ključna prednost takšnih panelov so bistveno nižji stroški vzdrževanja in izvajanja raziskav v primerjavi s klasičnimi paneli. Menjavanje načinov med valovi anketiranja je problematično predvsem zaradi mešanja dejanskih sprememb v času z razlikami, ki so posledica uporabljenega načina anketiranja. 2.2.4 Različni načini v različnih časovnih točkah na različnih vzorcih (enotah) V tem primeru gre za raziskave, ki se izvajajo v več valovih (npr. ESS) in v vsakem izmed njih rekrutiramo nov vzorec, kjer pa lahko na določeni točki zamenjamo način anketiranja. Odvisno od raziskave, je lahko v vseh valovih uporabljen enak ali drugačen vprašalnik. V primeru da v posameznih valovih uporabljamo različne načine anketiranja, gre za posebno obliko kombiniranja načinov anketiranja. Razlogi za menjavo načinov so običajno posledica stroškovnih omejitev, ki zahtevajo prehod na cenejše in bolj praktične načine anketiranja. Podobno kot v zgornjem primeru (2.2.3) velja, da menjava načina anketiranja lahko zabriše vzroke nastanka sprememb med opazovanji, ki so lahko posledica merske napake zaradi načina anketiranja in ne dejanskih sprememb. 2.3 Kombiniranje načinov v fazi opomnikov Učinkovito orodje za povečevanje stopnje sodelovanja so opomniki za nerespondente. Ti so lahko posredovani na enak način kot zbiranje podatkov (npr. poštni opomnik na poštno anketo, ponovni poskus telefonske rekrutacije v telefonski anketi) ali pa različni (npr. telefonski opomnik za spletno anketo). Raziskave so pokazale, da lahko uporaba različnih načinov opomnikov pomembno poveča stopnje sodelovanja, saj posameznik prejema informacijo iz različnih virov. Tako je pogosto smiselno menjati način opomnikov v posameznih fazah njihovega posredovanja (npr. prvi opomnik za spletno anketo poštni, drugi telefonski). Posebna oblika opomnikov so t. i. prepričevalna pisma, katerih osrednji namen je izpostaviti pomembnost posameznikovega sodelovanja v raziskavi. Ta pisma so pogosto prilagojena različnim skupinam nerespondentov in s tem predstavljajo posebno obliko sočasnega kombiniranega načina opomnikov. Sam način opomnikov, brez menjave načina anketiranja v kasnejših fazah (točka 2.2.1), ne povzroča učinkov načina anketiranja v ožjem smislu, lahko pa vpliva na specifične vzorce neodgovora (npr. določen način opomnika bolj poviša stopnjo sodelovanja specifičnih skupin). 2.4 Druge oblike kombiniranja načinov Kot smo omenili uvodoma, smo zgoraj navedli le najbolj tipične pristope h kombiniranju različnih načinov v različnih fazah anketnega projekta. Veliko število razpoložljivih načinov v vsaki izmed teh faz omogoča bistveno širši nabor (bolj ali manj specifičnih) kombinacij, katerih značilnosti pa so večinoma skladne z zgoraj navedenimi. Nekatere takšne specifične kombinacije načinov so: • Sočasna izvedba anketiranja na enotah iz različnih vzorčnih okvirov (npr. kombinacija fiksnih telefonskih številk iz telefonskega imenika in RDD (angl. random digit dialing) mobilnih številk. • Različni načini najave za različne enote iz vzorca. • Uporaba različnih načinov presejalnega vprašalnika v fazi začetnega kontaktiranja, ki je lahko izbirna, sočasna ali zaporedna (podobno kot kombiniranje v fazi glavnega zbiranja podatkov, točka 2.2.1). • Različni načini opomnikov za različne enote iz vzorca. 3. klasifikacija anket surs Za pomoč pri klasifikaciji raziskav gospodinjstev ter podjetij, smo uporabili klasifikacijo kombiniranih načinov po de Leeuw (2005), ki smo jih v nekoliko razširjeni obliki predstavili v točki III. Analizirali smo metodologije osmih po letu najnovejših raziskav gospodinjstev in dveh raziskav podjetij (IKT v podjetjih in PA-GRAD/M). Iz Tabele 1 in Tabele 2 opazimo, da je uporaba kombiniranih načinov v anketah SURS relativno nizka in večinoma omejena na uporabo različnega načina za najavo ankete glede na zbiranje podatkov. Za optimizacijo stroškov in napak v uradnih anketah, ki je temeljni cilj projekta, je zato smiselno izvesti celostno analizo fleksibilnejše uporabe kombiniranih načinov anketiranja. Tabela 1: Klasifikacija načinov anketiranja po de Leeuw (2005) Raziskava IKT G OS AM P TU-ČAP SPK-AZK AIO APEVG KDZ SILC IKT P OD J PA- GRAD/ IVI Faza začetnega kontakt. Način najave ankete različen od načina anketiranja DA DA DA DA DA DA Delno DA NE NE Način vabljenja, presejalnega vprašalnika ali izbora enot različen od načina zbiranja podatkov NP NP NP NP NP NP NP NP NP NP Faza zbiranja podatkov Različni načini za različne enote iz enega vzorca v eni časovni točki in z enakim vprašalnikom DA NE NE DA DA DA DA DA NE (DA) Za manjk. odg. Različni načini za različne dele vprašalnika za vse enote iz enega vzorca v eni časovni točki in z enakim vprašalnikom NE NE NE NE NE NE NE NE NE NE Različni načini v različnih časovnih točkah na istem vzorcu NE NE NE NE NE NE NE NE NE NE Različni načini v različnih časovnih točkah na različnih vzorcih NE NP NP NP NP NP NP NP NP NP Faza opomnikov Način opomnikov različen od načina zbiranja podatkov NE NP NP NP NP NP NP NP NP NP IKT_GOS= Anketa o uporabi IKT v gospodinjstvih in posameznikih AMP= Anketa o mnenju potrošnikov TU-ČAP= Turistična potovanja domačega prebivalstva SPK-AZK= Anketa o žrtvah kriminala AIO= Anketa o izobraževanju odraslih APEVG= Anketa o porabi energije in goriv v gospodinjstvih KDZ= Kariera doktorjev znanosti SILC= Raziskava o življenjskih pogojih IKT_PODJ= Uporaba IKT v podjetjih PA-GRAD/M= Anketa o poslovnih tendencah v gradbeništvu Tabela 2 : Klasifikacija raziskav SURS Faza konta ktiranja Faza zbiranja podatkov Faza opominjanja IKT_GOS 2 1.1 2.2.1.2 Delno (2.2.1.3) AM P 2.1.1 TU-CAP 2.1.1 SPK AZK 2.1.1 f:. 2.2.1 1.2A.2 Delno (2.2.1.3 in 2.2.1.1) AIO 2.1.1 2.2.1 2.2.1.2 Delno (2.2.1.3) APEVG 2.1.1 2.2.1 2.2.1.2 KDZ 2.1.1 2.2.1 2.2.1.2 SILC 2.1.1 2.2.4 IKT_PODJ PA GRAD/M 2.2.1 2.2.1.3 IKT_GOS- Anketa o uporabi IKT v gospodinjstvih in posameznikih AMP= Anketa o mnenju potrošnikov TU-ČAP= Turistična potovanja domačega prebivalstva SPK-AZK= Anketa o žrtvah kriminala AIO= Anketa o izobraževanju odraslih APEVG= Anketa o porabi energije in goriv v gospodinjstvih KDZ= Kariera doktoijev znanosti SILC= Raziskava o življenjskih pogojih IKT_PODJ= Uporaba IKT v podjetjih PA-GRAD/M= Anketa o poslovnih tendencah v gradbeništvu V tabeli 2 je predstavljena umestitev raziskav SURS po posamezni fazi raziskave in klasifikaciji, ki je predstavljena v točki III. Raziskave, ki so v tabeli obsenčene s temnejšo barvo so relevantne za nadaljnje raziskovanje v projektu CRP. Naslov raziskave IKT G OS AMP TU-CAP SPK-AZK AIO APEVG KDZ SILC IKT POD J-;-; PAGRAD/ M Leto : 2008 2010 2010: ; 2009 2007; 2009 2010.';; ; Panel 2010 2009 2009 Različni vzorčni okviri OPO, CRP Telefonsk i imenik Telefonski imenik, v prihodnosti CRP CRP CRP NP SRDAP POPIS 2002, RP CRP PRS PRS Način najave ankete različen od načina anketiranja DA DA DA DA DA DA Delno DA NE NE Različni načini najave za različne enote iz enega vzorca NE NE NE NE NE NE NE NE NE NE Način vabljenja, presejalnega vprašalnika ali izbora enot različen od načina zbiranja podatkov NP NP NP NP NP NP NP NP NP NP Različni načini vabila, presejalnega vprašalnika ali izbora za različne enote iz enega vzorca Sočasno NP NP NP NP NP NP NP NP NP NP Zaporedno NP NP NP NP NP NP NP NP NP NP Izbirno NP NP NP NP NP NP NP NP NP NP Različni načini za različne enote iz enega vzorca v eni časovni točki in z enakim vprašal. Sočasno NP Ni kombin. Ni kombin. NP NP NP NP NP NP NE Zaporedno DA (CATI potem PAPI) Ni kombin. Ni kombin. CATI pote m CAPI CATI potem PAPI NP NP CATI pote m CAPI NP Poštno za manjkaj oče telefons ko Izbirno NP Ni kombin. Ni kombin. NP NP NP NP NP 2005 DA, 2009 NP NP IKT_GOS= Anketa o uporabi IKT v gospodinjstvih in posameznikih AMP= Anketa o mnenju potrošnikov TU-ČAP= Turistična potovanja domačega prebivalstva SPK-AZK= Anketa o žrtvah kriminala AIO= Anketa o izobraževanju odraslih APEVG= Anketa o porabi energije in goriv v gospodinjstvih KDZ= Kariera doktorjev znanosti SILC= Raziskava o življenjskih pogojih IKT_PODJ= Uporaba IKT v podjetjih PA-GRAD/M= Anketa o poslovnih tendencah v gradbeništvu V nadaljevanju smo zbrali dodatne podatke, ki so dostopni v Metodoloških pojasnilih in letnih ter standardnih poročilih na spletni strani SURS (Tabela 3). Vrednosti označene z NP je potrebno še zbrati za poglobljeno analizo. •d o a j3 o TJ O CL PA- GRAD/M 2009 Poslovni register Slovenije Poštno (NP) Poštno (NP) NP Poštno 3 minute NP 1 Letno povprečje: 513 Letno povprečje: 506 Povprečje: 7 90S Ol Co 89,6% uteženo 23.670 € IKT_PODJ 2009 Poslovni register Slovenije Poštno (NP) Poštno (NP) a. a Poštno (ELEKTRONSK 0 2005) 20-30 minut NP CL a 2476 2458 00 2458 2213 95,5% uteženo 44.584 € SILC Panel 2010 CRP Poštno (NP) Poštno (NP) NP CAPI 1 0. a 12500 12243 tO c\j 12243 9028 73,74% 300.000 € C ATI C ë o co NP NP N Q; ¡¿ O O IN SRDAP, POPIS 2002, RP Poštno (NP) Poštno (NP) a. 2 C ATI NP 1 1 1485 NP CL a NP NP CL a NP S <0 O 0. NP NP NP NP CL a NP NP NP APEVG Of:1.: o o N: ; 1 Poštno (NP) Poštno (NP) NP PAP! NP NP NP 6000 NP k NP NP 1 NP CATI NP CL a NP NP 1 NP NP NP O o O :: OJ CRP Poštno (NP) Poštno (NP) NP PAPI NP NP NP 7200 NP NP NP NP NP CL a NP CATI NP 1 NP NP 0. a NP 0. a NP SPK-AZK 2009 CRP Poštno (NP) Poštno (NP) 1 CAPI 19 minut 1 1 co 01 K co CVi S 03 co co CO o co ds 3340 delovnih ur CATI NP 1 1084 1075 o> 1075 s lo O OJ SÙ TU-CAP 2010 Telefonski imenik, v prihodnosti CRP Poštno (NP) Poštno (NP) NP CATI 4minute 48 s NP NP 15000 14861 Ol co 14861 8901 59,90% 2562 delovnih ur AMP 2010 Telefonski imenik Poštno (NP) Poštno (NP) NP CATI S. co .C I NP NP 15000 1486 Letno povprečje: 14 1486 Ol K Letna stopnja 48,4% 2383 delovnih ur IKT_GOS 2008 Okvir popisnih okolišev in CRP Poštno (NP) Poštno (NP) CATI 00 o> NP 1 OD CN C0 o> 5 O} co co + T CO ^J- lo co CO CO 47,10% dv 3 co NP PAPI 13,8 NP 1 1676 1641 lO co 1641 1092 66,50% 20.727 € Naslov raziskave Leto Vzorčni okvir Način najave Način vabila Strošek Način anketiranja Povprečno trajanje ankete Način 1. opomnika Način 2. opomnika Začetna velikost (št Izbranih v vzorec) Konta ktirani h Neustrezni ustrezni Respodenti (končna velikost vzorca) Stopnja odgovora Strošek anketiranja Najava in vabilo Začetni način anket. r-« PA- GRAD/M 31 8 CA II v primeru manjkajočih odgovorov NP NP NP NP NP NP 0. 2 1 NP IKT_PODJ 600Z o. s NP NP NP NP NP 1 1 NP % SILC o , o CAPI 30 minut 1 % NP NP NP NP k NP QJ C £ KDZ NP NP NP 1 NP NP 1 NP NP NP 2010 APEVG o> o O: !N NP 0. 2 CL 2 NP 0. 2 NP 0. 2 NP 0. 2 1 O < 2007 PAPI 0. a NP 0. 2 0. 2 0. 2 0. 2 NP 1 NP SPK-AZK 2009 CAPI 19 minut NP NP K lO co co 01 co K i— CN «O co" ,Q CO tis NP TU-CAP 2010 NI DODATNEGA ANKETIRANJ A NE £ NE NE NE NE NE NE NE AMP 2010 NI DODATNEGA ANKETIRANJ A NE NE NE NE Ul 2 NE NE Ul 2 NE IKT_GOS 2008 PAPI 14 minut NP NP tO 03 co co CVJ CD co co CM o ii S » c .. O < a n .5 < n iol'o ¿ b S => o. =£ < H M M ■!= 0 I < i 1 > XI I 2 : »N ir i ,5 ÉL; ! o o -l ÍS 1 o 4> 1 s í « < c « o ž 2 o. < < o -2 01 o ra o § o S ra 3 n ® -H Ji § ■ § NOjO ü w i ol 4. metodologija 4.1 Izhodišča Namen eksperimentalne študije bo analizirati in identificirati optimalno kombinacijo načinov anketiranje glede na stroške in napake. Skladno z dogovorom na sestanku dne 9.2.2011 so izhodišča-za eksperimentalno študijo naslednja: • FDV bo izvedel eksperiment povsem neodvisno od uradne ankete SURS; • časovno bo eksperimentalna anketa izvedena sočasno z uradno izvedbo v jeseni 2011; • tehnično pripravo vprašalnikov, vključno s potrebnimi prilagoditvami, bo vodil in izvedel FDV; • SURS bo posredoval vzorec anketirancev, ki bo po lastnostih enakovreden vzorcu za uradno izvedbo; • poudarek eksperimentalne študije bo na proučevanju možnosti vključevanja spletnega načina anketiranja; • pozornost bo namenjena tudi ločevanju učinka izvajalca raziskave (SURS ali FDV). 4.2 Eksperimentalni načrt in potek zbiranja podatkov Eksperimentalno anketo TU-ČAP smo izvedli kot kombiniran način anketiranja, zasnovan z namenom ugotavljanja možnosti vključevanja spletnega anketiranja v uradne ankete oseb. V vzorec je bilo iz CRP vključenih 3,000 oseb na enak način kot v vzporedno uradno raziskavo, ki je v celoti potekala le po telefonu, kjer vse enote z identificirano telefonsko številko pred anketiranjem prejmejo tudi pismeno obvestilo/vabilo. Za eksperiment je SURS uspel identificirati telefonske številke 1,720 osebam (57%), kar je podobno kot v uradnem delu vzorca, kjer so od skupno 5,300 enot telefonske številke našli za 3,025 enot. Vsem vključenim 3,000 osebam smo dne 18.4.2012 poslali poštno vabilo za sodelovanje v spletni anketi (Priloga 1). Vsebinsko je bilo vabilo pripravljeno skladno z obstoječo prakso Statističnega urada pri pošiljanju obvestilnih pisem za najavo anket, pri čemer je bila v pismo vključena povezava za dostop do spletnega vprašalnika (http://pot.lka.sn ter unikatna identifikacijska številka za ugotavljanje sodelovanja. Dodatnih opomnikov za sodelovanje v spletni anketi nismo pošiljali. V drugi fazi smo pričeli s telefonskim anketiranjem nerespondentov, za katere smo imeli na voljo telefonsko številko. Telefonsko anketiranje je izvedel Statistični urad z uporabo standardnega telefonskega vprašalnika TU-ČAP, identičnega uradni različici in tudi klicanje ter nadzor je potekal po enaki proceduri. Zbiranje podatkov po telefonu je potekalo od 25.4. do 11.5.2012. Po zaključku telefonskega anketiranja smo meseca maja v zadnji, tretji fazi nerespondentom na telefonsko anketo ter nerespondentom na spletno anketo, za katere nismo imeli telefonske številke, poslali kratko (dvostransko) poštno različico vprašalnika, skupaj z dopisom Statističnega urada (Prilogi 2 in 3). Zaradi siceršnje kompleksnosti anketnega vprašalnika ČAP smo v poštni različici uporabili le ključne spremenljivke za razumevanje turističnih potovanj prebivalcev. Preko spleta smo dobili 306 odgovorov, preko telefona 673, preko poštne ankete pa 327, skupno okoli 1,300 enot (zaradi metodoloških posebnosti se vsote povsem ne ujemajo). 4.3 Uteževanje V procesu uteževanja smo se poskušali čim bolj približati postopku uteževanja, ki ga Statistični urad 'RS izvaja v svoji Anketi o turističnih potovanjih domačega prebivalstva, saj smo želeli dobiti čim bolj podobno demografsko strukturo kot jo z uteževanjem dobi SURS. V ta namen smo najprej utežili Sursove dobljene podatke z njihovimi že izračunanimi utežmi in uporabili dobljeno demografsko strukturo. To strukturo smo za razpoložljive kontrolne spremenljivke uporabili kot kontrolne populacijske podatke pri uteževanju vseh treh faz kombiniranega načina zbiranja podatkov (1. spletna anketa, 2. spletna anketa + telefonsko anketiranje, 3. spletna anketa + telefonsko anketiranje + poštna anketa) kot tudi za (ponovno) uteževanje Sursove različice telefonskega anketiranja. V naših podatkih namreč nismo razpolagali s čisto vsemi kontrolnimi spremenljivkami (tip naselja in regija), vendar pa primerjava podatkov SURS, uteženih uradno, in istih podatkov, uteženih z našim nekoliko ožjim naborom kontrolnih spremenljivk, kaže da so razlike zanemarljive, saj so bile glavne kontrolne spremenljivke vendarle vključene, hkrati pa se učinek različnih stopenj sodelovanja (ki je zelo izrazito v terenskih osebnih anketah) v tej anketi niti ni kazal, saj terenskega anketiranja ni bilo. Vsekakor smo na ta način enotno utežili vse podatke, tako da so primerjave bolj ustrezne. Pri sami izvedbi uteževanja smo sicer uporabili metodo raking po spremenljivkah spol-starost, izobrazba in število članov v gospodinjstvu (zaradi odsotnosti podatkov o regiji in tipu naselja ti dve spremenljivki nista bili uporabljeni). Razpon uteži smo v analizah opcijsko zmanjšali tudi z rezanjem pri zgornji meji 4,0 (to je bilo potrebno le pri spletni anketi) in dobljene uteži pomnožili (reskalirali) s korekcijskim faktorjem osnovne velikosti vzorca. Tabela 5: Razpon uteži Razpon uteži Uteževanje vseh enot Uteževanje enot z znano tel. št. MIN MAX MIN MAX Web 0.07 13.36 0.02 9.56 Web + telefon 0.37 2.16 0.36 2.18 Web + telefon + pošta 0.40 2.15 0.38 2.08 SURS 0.34 2.35 5. analiza sodelovanja 5.1 Stopnje odgovora po fazah anketiranja Kot je bilo že predstavljeno, smo v eksperimentu uporabili kombiniran način zbiranja podatkov s tremi fazami anketiranja (spletna anketa, telefonsko anketiranje in poštna anketa). V skladu s tem smo izračunali stopnje odgovora tako znotraj posameznega načina zbiranja podatkov kot tudi za vsako fazo anketiranja, gledano kumulativno. Rezultati so pokazali, da je »stopnja odgovora« (v bistvu gre tu za »stopnjo anketiranja - completion rate«, kjer so v imenovalcu vse ankete v vzorcu, torej 3,000 bruto) pri spletni anketi znašala 10%, pri telefonskem anketiranju 43%, pri poštni anketi pa je bila dosežena 19% stopnja odgovora. Kumulativna stopnja odgovora v prvi fazi anketiranja s spletno anketo je tako znašala 10%, v drugi fazi, ko je bilo opravljeno še telefonsko anketiranje, je stopnja odgovora znašala 33%, po opravljenem poštnem anketiranju v tretji fazi zbiranja podatkov je bila na koncu dosežena 43% stopnja odgovora. Zaradi težav pri računanju in usklajevanju računanja stopenj sodelovanja v različnih anketah to ni v celoti primerljivo s stopnjo sodelovanja v SURS. Če namesto vseh enot v vzorcu upoštevamo le tiste z znano telefonsko številko, kar je bolj primerljivo s SURS izborom enot, je bila stopnja odgovora spletne ankete 10%, stopnja odgovora telefonskega anketiranja 43%, medtem ko je pri poštni anketi ta znašala 18%. Kumulativna stopnja odgovora prve faze anketiranja je bila 10%, po telefonskem anketiranju je bila v tem primeru skupaj dosežena 49% stopnja odgovora, skupaj s tretjo fazo poštnega anketiranja je bila na koncu dosežena 55% stopnja odgovora. Statistični urad RS je v svoji izvedbi telefonskega anketiranja dosegel 60% stopnjo odgovora. Slika 5: Stopnje odgovora ¡upoštevati velja opombo k izračunavanju stopnje odgovora) v posameznih fazah anketiranja 70% 60% 2 50% o > S) 40% "O o ■■=. 30% Q. O tt 20% 10% 0% spletna anketa telefonsko poštna anketa SURS anketiranje Način zbiranja podatkov a Vse enote ■ Enote z znano tel. številko V spodnjem grafu torej vidimo kumulativne stopnje odgovorov, pri čemer bi pri uradni anketi SURS veljalo dodati tudi dejanski doseg v celotni populaciji. Upoštevati je treba, da je tudi SURS v vzorec vključil le 57% enot, za katere je bilo mogoče pridobiti telefon, za preostale enote pa seveda SURS ni pridobil nobenih anketnih podatkov. V tem primeru znaša doseg SURS le 33% (59% x 57%) in je manjši od kumulative v našem eksperimentu, kjer smo dosegli 43% ciljne populacije. Slika 3: Kumulativne stopnje odgovora (upoštevati velja opombo k izračunavanju stopnje odgovora) po fazah anketiranja 70% 60% 2 50% o > S> 40% -a o •g. 30% a. "K 20% 10% 0% Web Web + telefon Web + telefon + pošta Faze SURS Vse enote H Enote z znano tel. številko 0 Doseg 5.2 Stopnje odgovora po demografskih značilnostih Stopnje odgovora se znotraj posameznega načina zbiranja podatkov glede na demografske značilnosti enot občutno razlikujejo. Denimo med kontaktiranimi osebami od 15 do 24 let jih je na spletno anketo odgovorilo 21%, med osebami od 25 do 34 let 15%, medtem ko je bila stopnja odgovora med osebami od 55 do 64 let 6% ter samo 2% med osebami v starosti 65 let ali več. Povsem drugačno situacijo je zaslediti v drugi fazi zbiranja podatkov, z izvedbo telefonskega anketiranja. Stopnja odgovora je bila precej višja med osebami v starosti 65 let ali več (59%) in med osebami od 55 do 64 let (46%), medtem ko je bila najnižja pri osebah od 25 do 34 let (30%). Tudi na poštno anketo je odgovorilo največ oseb v starosti 65 let ali več (25%), najnižja stopnja odgovora pa je bila prav tako pri osebah od 25 do 34 let (12%) in osebah od 15 do 24 let (13%). Razen pri fazi spletnega anketiranja se stopnja odgovora močno razlikuje tudi glede na spol. V fazi telefonskega anketiranja je bila namreč med ženskami dosežena 48% stopnja odgovora, med moškimi pa 37%. Višjo stopnjo odgovora med ženskami je zaznati tudi v tretji fazi zbiranja podatkov -poštna anketa (21% stopnja odgovora med ženskami in 16% med moškimi). Tudi v primeru upoštevanja samo enot z znano telefonsko številko se razlike v stopnji odgovora glede na demografske značilnosti enot bistveno ne spremenijo. Omeniti velja le spremembo v fazi poštnega anketiranja, kjer stopnja odgovora med osebami v starosti 65 let in več v tem primeru znaša 17%, pri osebah od 15 do 24 let pa denimo 19%. Če pogledamo vse tri faze zbiranja podatkov skupaj, je najvišja stopnja sodelovanja prisotna med osebami v starosti 65 let in več (53%), nekoliko nižja pri osebah od 55 do 64 let in med osebami od 15 do 24 let (45%), najnižja stopnja odgovora pa je dosežena pri osebah od 25 do 34 let (37%). Tabela 6: Stopnje odgovora po starosti in spolu (po posameznih fazah, neuteženo) Vse enote (n=1298) Enote z znano tel. št. (n=945) Spletna Telefonsko Poštna Spletna Telefonsko Poštna anketa anketiranje anketa anketa anketiranje anketa % % % % % % Starost 15 - 24 let 20.6 38.5 12.6 21.7 38.5 18.9 25 - 34 let 15.4 30.1 12.1 17.6 30.1 14.6 35-44 let 13.0 32.4 17.8 12.6 32.4 17.6 45 - 54 let 8.9 36.5 20.3 9.2 36.5 17.3 55 - 64 let 6.3 45.6 23.6 6.3 45.6 23.3 65+ let 2.1 59.3 25.1 2.1 59.3 16.5 Skupaj 10.2 42.6 18.5 10.1 42.6 17.8 Spol moški 10.5 36.9 16.2 10.6 36.9 15.2 ženski 10.0 48.4 21.0 9.6 48.4 21.3 Skupaj 10.2 42.6 18.5 10.1 42.6 17.8 Tabela 7: Stopnje odgovora po starosti in spolu (kumulativno, neuteženo) Vse enote (n=1298) Enote z znano tel. št. (n=945) Splet Splet + telefon Splet + telefon + pošta Splet Splet + telefon Splet + telefon + pošta % % % % % % Starost 15 - 24 let 20.6 36.9 44.5 21.7 52.2 60.0 25-34 let 15.4 28.5 36.8 17.6 43.3 50.2 35 - 44 let 13.0 28.8 40.4 12.6 42.1 50.2 45 - 54 let 8.9 26.9 39.5 9.2 42.6 48.9 55 - 64 let 6.3 31.7 45.4 6.3 49.6 57.0 65+ let 2.1 42.0 52.8 2.1 60.1 63.1 Skupaj 10.2 32.5 43.4 10.1 49.1 55.3 Spol moški 10.5 30.0 40.0 10.6 44.3 50.4 ženski 10.0 35.0 46.9 9.6 53.9 60.3 Skupaj 10.2 32.5 43.4 10.1 49.1 55.3 5.3 Primerjava neuteženih podatkov s CRP Primerjava končne sestave (pod)vzorcev je pokazala, da se tako pri vzorcu, dobljenem s kombiniranim načinom zbiranja podatkov kot tudi v Sursovi izvedbi telefonske ankete, demografska struktura razlikuje od populacijske strukture. V nekaterih primerih je populacijski strukturi bližja struktura, pridobljena s Sursovo izvedbo telefonske ankete, v nekaterih delih je populacijski demografski strukturi sorodnejša struktura, dobljena s kombiniranim načinom zbiranja podatkov. Slednji je očitno bolj reprezentativen pri doseganju mlajših respondentov, saj v vseh treh starostnih kategorijah do 44 let doseže večji delež anketirancev. Poleg tega doseže tudi večje število oseb, ki živijo v enočlanskih gospodinjstvih. Po drugi strani je Sursova telefonska anketa nekoliko reprezentativnejša pri doseganju oseb z nižjo izobrazbo kot je denimo delež oseb z nižjo ali srednje poklicno izobrazbo ter pri doseganju oseb, ki živijo v gospodinjstvih s štirimi člani. Sursova telefonska anketa doseže tudi rahlo večji delež moških respondentov. V kolikor primerjamo posamezne načine zbiranja podatkov ugotovimo, da spletna anketa doseže občutno več mlajših respondentov kot telefonsko anketiranje in poštna anketa. Povprečna starost respondentov v spletni anketi namreč znaša 37 let, pri poštni anketi 45 let, najvišja povprečna starost pa je dosežena pri telefonskem anketiranju (55 let). Spletna anketa in poštno anketiranje dosežeta tudi precej večji delež višje izobraženih anketirancev kot telefonsko anketiranje, ki doseže izobrazbeno strukturo, ki je bolj podobna populacijski. V primeru spolne strukture spletna anketa doseže veliko bolj enakomeren delež ženskih in moških respondentov, medtem ko poštna anketa in pa predvsem telefonsko anketiranje zajameta opazno večji delež žensk. CL O o cl r^ o h (Ñ Is* r^ ko en ds 1 . . "i m o ~ cn cm ro S? ce io o'uj cri la tH a u k. O M _>_ TJ O ra 3 M 0 E 01 o .0 ra h* in o l». >f o Ul cri i/i N "! t «! N m N 1,1 ^ " di ni (n n ol h m m oj m m m ai ■3- "3- -tf -i N ffi ^ i/i wj ds Sn d^ dN ro 00 CO CN tH CN tH CN CN CN ro CN <3; ro ^ co LA ro CT) Ö tH c£> K tH *H cn 10 CN LA ro ci 00 rsl rM CN rH lo cn tn 00 00 ro m- tH LA LA H C0 fll LA 00 (N OI r- ai CN CT1 ro oo tH L£> j tH CN CN CN CM tH O r-» 00 UD CN 00 tH tH ro tH CN à? ro oq CO LA T-i t-i c<¡ rH CO ¡N tH dN d^ la ro k ó la cn cn cn tH ST cri lo to 00 K rri ro oo ro N 00 tH N LA 00 O eu ni ro ro >u >u >u >u >u >u LA LD C > ai "a o tt) T3 O CL vi O no > o c ro > ai 5 LO LÖ O D. ro oo cu 0) CL c ai S o XI .o o ro Tí o Q_ "d O a -a o CL t-0 * t ~ S? rH ai ON O rH ID rH ID SS (N- rH rs m ž? 00 O LO ro 00 J5 ro ai ö (N r-1 K t-: LO ai VT ro O K ni in vf vi rj "O vf m rH rH rH rH rH rH M M 1! C en vf rH u-i NÎ1 ON m t-i ro rô m uS r- LO LO 00 00 NÇ oN rs ro LO O (S ai (N LO vf Vp r^ rri vf 00 rH (N ai (N ID 00 ro 00 cri o a> vf in rH rH rH rH rH r-i in (N rH ro rs rH ts (S rs rš Q. o >v> + c C LU Q) a +-> o c eu CO CT> (N r-i vf LTÎ NÇ on m r-i ro Vf CO u> O U3 II C vf LO rH rH rH rH rH (N rH rH ro (N rH (NJ (N (N (S O aT C m CO 00 M II c vf vf LO l/S ní» rH r-i CT1 (N tfl rf (N LO ai Ö M-r-. n? on in ro LO rH O) ai o *H TH Vf s? r>; rô ro 00 rs (S ro rš 00 00 I-. ai cn C a LO n> (N* r- ro fN. o c (N 00 n? on in UD fNJ M- fN (N NP on rH Ol 00 r^ Vf vf vf in LO LO rH a) en i/i rš KO LO K ai M" rri ai (NI r-i K Sn rri K (S m 00 o a» on > n c Vf in rH rH rH rH (N rH rH ro rs rH rs ts rs rri O en C r». CO *—i c M n c ON 00 00 N? on LO (NI O M; o tn N? on ai rH rH oq rH r^ f». CO rs in rH vf M o c ÎÛ o ON Ol rH N^ ON 00 00 (N ID o NP ON rH LO LO ai O CO rH rH CO in 3.32 ro ^ lO ro O > >io O (Z ro c > o C XI N (0 i o a l/l o ro O 03 c JVl ro > VI o 00 c: o ro M ro ro c _o Q. ro vi 'c > o CL o l/l LO TI C ro a. i C O )l/l O Q. «3 i/i o ai c o M o Q. ai ro c > O o VI O M >u _o 4—1 4—' (D l/l ro ro XI ai" JO ro ro ui O o "c x> ro > O C ro aj > ro a) >V1 o jd jk % C >o i vi tži VI .0 > > C >u +-> V) Q vf 75 ro O >V1 o c ro C 'č c O C O C QJ >i/i vi O IS o ro XÎ QJ > ro (U ro ro ro ro O a. o E c O O M QJ c lfl »ET a» ii/T tu >u >u >u >u >u >(j > O l/l >t*J l/l rH (N ro l/l LO Û. i o C i/i > >¿0 rH (N ro vf Ln LD a > _o (U -a o a> ro Q. -a o cl vi O do > O c >VÎ O ro +-» < H-co Cö o a. ro tuO ai c c ai 15 o -o -O o ro T3 o cl 6. RAZLIKE V OCENAH 6.1 Pregled razlik v končnih ocenah ključnih spremenljivk Razlike v ocenah na ključnih spremenljivkah, ki so bile vključene tudi v poštno anketiranje, prikazuje tabela 10. Tabela 10: Absolutne razlike v ocenah ključnih spremenljivkah med kombiniranim načinom anketiranja in telefonsko anketo SURS Meritev Kombinirani načini Telefonska anketa SURS Absolutna razlika ocene Neutež. Utež. Neutež. Utež. Neutež. Utež. Vsi anketiranci % bil na zasebnem potovanju % n 24.7 314 21.7 16.0 281 15.8 8.7 5.9 % zasebnih potovanj kot rednih % 15.4 15.2 3.9 3.5 11.5 11.7 odhodov n 48 11 % rednih odhodov v Sloveniji % n 66.7 32 66.8 81.8 9 84.1 -15.1 -17.3 % bil na poslovnem potovanju % n 8.2 104 6.9 3.5 62 3.6 4.7 3.3 % bil na enodnevnem izletu v % 35.5 33.8 27.5 28.1 8.0 5.7 Sloveniji n 456 484 % bil na enodnevnem izletu v tujini % n 18.9 243 17.5 10.1 177 10.5 8.8 7.0 Anketiranci z znano telefonsko številko % bil na zasebnem potovanju % n 20.2 189 19.0 16.0 281 15.8 4.2 3.2 % zasebnih potovanj kot rednih % 12.2 12.4 3.9 3.5 8.3 8.9 odhodov n 23 11 % rednih odhodov v Sloveniji % n 60.9 14 60.5 81.8 9 84.1 -20.9 -23.6 % bil na poslovnem potovanju % n 5.9 55 5.5 3.5 62 3.6 2.4 1.9 % bil na enodnevnem izletu v % 31.6 31.6 27.5 28.1 4.1 3.5 Sloveniji n 296 484 % bil na enodnevnem izletu v tujini % n 14.1 132 13.8 10.1 177 10.5 4.0 3.3 Kot prvo lahko razberemo, da uteževanje ni prineslo posebej dramatičnih sprememb, kar je bilo tudi pričakovati, saj so bile razlike v demografski strukturi kljub vsemu zmerne, zato je tak lahko tudi učinek uteževanja, ki tudi sicer v socio-ekonomskih anketah prebivalstva nikoli ni posebej velik. Kljub temu spremembe niso zanemarljive, še posebej če nakazano smer povečanja/zmanjšanja razumemo kot nakazano spremembo, ki bi bila v primeru, da razpolagamo z vsemi kontrolnimi spremenljivkami zelo verjetno še bistveno večja. Na drugi strani pa lahko opazimo dramatično velike razlike v ocenah obeh vzorcev, saj znašajo v štirih od šestih spremenljivk (obarvani rumeno) več kot 30% ocene SURS, v dveh primerih pa skoraj 100% in celo 300%. Gre za razlike, ki so presegle vsa pričakovanja in jih v veliki meri ni mogoče pojasniti brez poglobljene analize. Razlog za razlike gre sicer iskati v neodgovorih in reprezentativnosti obeh vzorcev. Najbolj enostavna hipoteza je, da uradni SURS vzorec pač izgublja ljudi, ki več potujejo, delno zaradi same strukture (premalo je mladih), predvsem pa znotraj skupin (težje dobi upokojence, ki potujejo in tudi med mladimi v večji meri dobi predvsem tiste, ki manj potujejo). Anketa o potovanju je namreč anketa, ki proučuje spremenljivko, ki je v kar največji meri povezana s sodelovanjem v anketi - torej z odsotnostjo, dinamiko, fleksibilnostjo anketiranca (potovanje). Zadeva se verjetno od vseh anket SURS najbolj približuje karikiranem primeru poštne ankete, kjer respondente sprašujemo, če sodelujejo v poštnih anketah, kjer je v resnici stopnja sodelovanja 10%, vendar pa med respondenti (ki jih je seveda ravno tako le okoli 10%) 90% javi, da pa poštne ankete rešuje. Na drugi strani je možen tudi učinek načina anketiranja (»mode effect«). Pri spremenljivki »izleti v Sloveniji« je to precej nesporno, saj je vprašanje zaradi svoje specifičnosti problematično v vseh treh načinih. Za ostale ciljne spremenljivke pa bi to težko rekli, saj sprašujejo zelo jasno faktualno vprašanje. V primeru učinka načina anketiranja je problem sicer zelo velik, praktično nerešljiv. Eden najbolj znanih primerov so ankete o viktimizaciji, kjer respondenti na vprašanje o oceni (zadovoljstvu) svoje soseske v osebnem anketiranju odgovorijo 4, po spletu pa 3 (na skali 1-5). Problem je še večji, ker je odgovor v spletni anketi verjetno v tem primeru nesporno bolj kvaliteten (social desirabilty). Predvsem pa je tu problem, ker se z vstopom spletnega načina, ki nadomešča vse večji del osebnih anket, ruši vsaka primerjava za prejšnja leta, saj ni mogoče ločiti realne spremembe trenda od učinka zamenjave načina anketiranja, kjer se vsako leto večji delež ljudi anketira preko spleta (namesto osebno). Kot rečeno pa v večini spremenljivk TU-ČAP zelo verjetno ne gre za problem načina anketiranja, ampak bodisi za težave telefonske ankete (ki se bodo z leti še zaostrovale, pokritje in sodelovanje) bodisi za nek še neodkrit učinek v kombiniranem načinu. 6.2 Razlike v ocenah ključnih spremenljivk po fazah anketiranja Tabela 11 predstavlja razlike v ocenah ključnih spremenljivk po posameznem načinu anketiranja. Predstavljeni podatki pripomorejo k razumevanju prispevka rezultatov posameznega načina h končni oceni, dobljeni z uporabo kombiniranih načinov anketiranja. Tabela 11: Ocene ključnih spremenljivk po posameznih fazah anketiranja (neuteženi podatki) Meritev Spletna Telefonska Poštna anketa Telefonska anketa anketa FDV anketa SURS Vsi anketiranci % bil na zasebnem potovanju % 38.9 14.4 32.9 16.0 n 118 96 100 281 % zasebnih potovanj kot rednih % 12.7 7.29 26.8 3.9 odhodov n 15 7 26 11 % rednih odhodov v Sloveniji % 73.3 57.1 65.4 81.8 n 11 4 17 9 % bil na poslovnem potovanju % 15.7 3.0 11.8 3.5 n 48 20 36 62 % bil na enodnevnem izletu v % 56.3 23.7 40.8 27.5 Sloveniji n 165 158 133 484 % bil na enodnevnem izletu v % 25.5 9.3 32.5 10.1 tujini n 75 62 106 177 Anketiranci z znano telefonsko številko % bil na zasebnem potovanju % 37.4 14.4 29.0 16.0 n 64 96 29 281 % zasebnih potovanj kot rednih % 17.2 7.3 17.9 3.9 odhodov n 11 7 5 11 % rednih odhodov v Sloveniji % 72.7 57.1 40.0 81.8 n 8 4 2 9 % bil na poslovnem potovanju % 13.3 3.0 12.0 3.5 n 23 20 12 62 % bil na enodnevnem izletu v % 56.7 23.7 42.5 27.5 Sloveniji n 93 158 45 484 % bil na enodnevnem izletu v % 25.5 9.3 32.5 10.1 tujini n 75 61 106 177 Naslednji sklop tabel prikazuje razlike v ocenah ključnih spremenljivk kumulativno po fazah anketiranja za utežene in neutežene podatke. Za prvo fazo anketiranja (samo spletna anketa) so ločeno predstavljene ocene, utežene z in brez rezanja uteži. Tabela 12: Razlike v deležih anketirancev, ki so odšli na zasebno potovanje (kumulativno po fazah) Zasebno potovanje Splet Splet + telefon Splet + telefon + pošta Telefonska anketa SURS Neutež. Utež. Rez. ut. Neutež. Utež. Neutež. Utež. Neutež. Utež. Vsi anketiranci Da % 38.9 25.7 30.4 22.1 19.8 24.7 21.7 16.0 15.8 Ne % 61.1 74.3 69.6 77.9 80.2 75.3 78.3 84.0 84.2 Skupaj % n 100.0 303 100.0 100.0 100.0 969 100.0 100.0 1,273 100.0 100.0 1,758 100.0 Anketiranci z znano telefonsko številko Da % 37.4 28.6 32.6 19.1 18.5 20.2 19.0 16.0 15.8 Ne % 62.6 71.4 67.4 80.9 81.5 79.8 81.0 84.0 84.2 Skupaj % n 100.0 171 100.0 100.0 100.0 837 100.0 100.0 937 100.0 100.0 100.0 Tabela 13: Razlike v deležih anketirancev, ki so redno odhajali na zasebno potovanje v isti kraj (kumulativno po fazah) Redni odhodi na zasebno potovanje Splet Splet + telefon Splet + telefon + pošta Telefonska anketa SURS Neutež. Utež. Rez. ut. Neutež. Utež. Neutež. Utež. Neutež. Utež. . Vsi anketiranci Da % Ne % 12.7 14.8 14.8 87.3 85.2 85.2 10.3 10.6 89.7 89.4 15.4 15.2 84.6 84.8 3.9 3.5 96.1 96.5 Skupaj % n 100.0 100.0 100.0 118 100.0 100.0 214 100.0 100.0 311 100.0 100.0 281 Anketiranci z znano» telefonsko številko Da % Ne % 17.2 17.3 17.4 82.8 82.7 82.6 11.3 11.4 88.7 88.6 12.2 12.4 87.8 87.6 3.9 3.5 96.1 96.5 Skupaj % n 100.0 100.0 100.0 64 100.0 100.0 160 100.0 100.0 188 100.0 100.0 281 Tabela 14: Razlike v strukturi rednih zasebnih odhodov glede na državo (kumulativno po fazah) Država rednih odhodov Splet Splet + telefon Splet + telefon + pošta Telefonska anketa SURS Neutež. Utež. Rez. ut. Neutež. Utež. Neutež. Utež. Neutež. Utež. Vsi anketiranci Slovenija % Tujina % 73.3 69.1 69.1 26.7 30.9 30.9 68.2 68.6 31.8 31.4 66.7 66.8 33.3 33.2 81.8 84.1 18.2 15.9 Skupaj % n 100.0 100.0 100.0 15 100.0 100.0 22 100.0 100.0 48 100.0 100.0 11 Anketiranci z znano : telefonsko številko Slovenija % Tujina % 72.7 57.1 57.1 27.3 42.9 42.9 66.7 64.9 33.3 35.1 60.9 60.5 39.1 39.5 81.8 84.1 18.2 15.9 Skupaj % n 100.0 100.0 100.0 11 100.0 100.0 18 100.0 100.0 23 100.0 100.0 11 Tabela 15: Razlike v deležih anketirancev, ki so odšli na poslovno potovanje (kumulativno po fazah) Poslovno potovanje Splet Splet + telefon Splet + telefon + pošta Telefonska anketa SURS Neutež. Utež. Rez. ut. Neutež. Utež. Neutež. Utež. Neutež. Utež. Vsi anketiranci Da Ne % % 15.7 84.3 11.3 88.7 11.2 88.8 7.0 93.0 6.2 93.8 8.2 91.8 6.9 93.1 3.5 96.5 3.6 96.4 Skupaj % n 100.0 305 100.0 100.0 100.0 971 100.0 100.0 1,275 100.0 100.0 1,758 100.0 Anketiranci z znano . telefonsko številko Da % Ne % 13.3 86.7 14.0 86.0 12.2 87.8 5.1 94.9 5.1 94.9 5.9 94.1 5.5 94.5 3.5 96.5 3.6 96.4 Skupaj % n 100.0 173 100.0 100.0 100.0 839 100.0 100.0 939 100.0 100.0 1,758 100.0 Tabela 16: Razlike v deležih anketirancev, ki so odšli na enodnevni izlet v Sloveniji {kumulativno po fazah) Enodnevni izlet v Sloveniji Splet Splet + telefon Splet + telefon+ pošta Telefonska anketa SURS Neutež. Utež. Rez. ut. Neutež. Utež. Neutež. Utež. Neutež. Utež. Vsi anketiranci Da % Ne % 56.3 43.7 47.3 52.7 47.8 52.2 33.7 66.3 32.6 67.4 35.5 64.5 33.8 66.2 27.5 72.5 28.1 71.9 Skupaj % n 100.0 293 100.0 100.0 100.0 959 100.0 100.0 1,285 100.0 100.0 1,758 100.0 Anketiranci z znano telefonsko številko ; Da % Ne % 56.7 43.3 49.1 50.9 48.5 51.5 30.2 69.8 31.2 68.8 31.6 68.4 31.6 68.4 27.5 72.5 28.1 71.9 Skupaj % n 100.0 164 100.0 100.0 100.0 830 100.0 100.0 936 100.0 100.0 1,758 100.0 Tabela 17: Razlike v deležih anketirancev, ki so odšli na enodnevni izlet v tujino (kumulativno po fazah) Enodnevni izlet v tujini Splet Splet + telefon Splet + telefon + pošta Telefonska anketa SURS Neutež. Utež. Rez. ut. Neutež. Utež. Neutež. Utež. Neutež. Utež. Vsi anketiranci ; Da % Ne % 25.5 74.5 18.2 81.8 19.6 80.4 14.3 85.7 13.5 86.5 18.9 81.1 17.5 82.5 10.1 89.9 10.5 89.5 Skupaj % n 100.0 294 100.0 100.0 100.0 960 100.0 100.0 1,286 100.0 100.0 1,758 100.0 Anketiranci z znano telefonsko številko Da % Ne % 22.9 77.1 14.5 85.5 16.5 83.5 12.0 88.0 12.2 87.8 14.1 85.9 13.8 86.2 10.1 89.9 10.5 89.5 Skupaj % n 100.0 166 100.0 100.0 100.0 832 100.0 100.0 938 100.0 100.0 1,758 100.0 6.3 Stroški Podrobna kalkulacija stroškov je močno odvisna od obravnave fiksnih stroškov, kjer pa bomo predpostavili, da so v vseh treh primerih podobni, kar ni daleč od resnice (npr. 1-2 meseca metodološkega dela za vsako anketo). V kombiniranem načinu pa je treba prišteti še en tak del zaradi usklajevanj (1-2 meseca). Pri metodološkem delu velja izpostaviti predvsem delo pri prilagoditvi in testiranju vprašalnika določenemu tipu anketiranja ter urejanju in prilagojevanju podatkov po končanem zbiranju. Pri računanju variabilnih stroškov velja upoštevati naslednje ocene: Tekoči stroški za telefonsko anketo lahko izhajajo iz naslednjega: trajanje neto cca 5 minut, bruto pa 14 minut anketarjevega časa, kar bi pri predpostavki študentskega dela (bruto 5€) pomenilo le dober evro (1.17C) na anketo, k čemur pa velja dodali še največ do 0.20C za telefonski impulz. Seveda pa to ne vključuje administracije, nadzora in fiksnih stroškov. Zato je bolj smiselno izbrati tržno ceno minute anketiranja, ki se giblje okoli 0.5€ na minuto neto anketiranja. To bi pomenilo, da telefonska anketa stane - skupaj z dopisom - pod 3€ (tudi če bi se v celoti šlo na »outsoursing«). To je v bistvu zelo poceni. Še vedno pa so to seveda pri telefonski anketi le tekoči stroški, ne pa tudi stroški razvoja vprašalnika in priprave podatkov. Pri spletni anketi ni nekih variabilnih stroškov, se pa močno povečajo fiksni stroški priprave vprašalnika in tudi priprave podatkov. V grobem bi lahko rekli - če odštejemo stroške priprave osnovnega izvornega vprašalnika, ki ga je nato treba prilagoditi (za telefonski, spletni, pisemski način), da fiksni stroški priprave (vprašalnika in podatkov) spletne ankete v primeru kompleksnega vprašalnika kot je ČAP dosegajo primerljive stroške telefonske ankete, tako v fazi izdelave vprašalnika, predvsem pa v fazi priprave podatkov. Precej podobno velja za pisemsko anketo, kjer je prilagajanje vprašalnika in njegovo oblikovanje precej zahtevno. Tekoči stroški samega dopisa (vabila) so nekoliko pod 0.5€ na enoto pošiljke (znamka 0.3, pakiranje 0.04, kuverta 0.04, dopis A4 0.04). Pošiljanje kuverte z anketo in s povratno pošto pa podraži še za 0.5€ (dodatna povratna znamka 0.30, kuverta 0.04, tisk ankete dve strani 0.10, pakiranje dodatno 0.03). To velja v primeru 100% odziva, sicer manj, ker se realizira poštna znamka le za primere vrnjene ankete. Tekoči stroški ankete preko spleta za 306 odgovorov so zato le stroški dopisa (3,000 x 0.5€), ki pa so zaradi nizke stopnje odgovorov (10%) razmeroma visoki in znašajo okoli 5€ na izpolnjeno anketo (ni pa verjetno najbolj pravilno celotni strošek bremeniti le spletno anketo), kar bi bil tudi strošek samostoječe spletene ankete z enim samim vabilom, torej 5€. Telefonska anketa je dala 673 enot, kjer smo tekoče stroške ocenili na 3€ na realizirano anketo. Če bi -vsaj v primeru SURS ankete je tako - sem prišteli še dopis telefonskim uporabnikom in upoštevali okoli 60% odziv, je to okoli 1€ na realizirano anketo, skupno torej za samostojno telefonsko anketo 4€. Zanimivo je, kako je ta 1€ v bistvu še vedno razmeroma velik strošek glede na sam tekoči strošek same telefonske ankete. Pisemska anketa je bila poslana na 2,000 naslovov (vsak dopis z anketo in povratno kuverto smo ocenili skupno 1€), kar za 327 prejetih enot pomeni okoli 6€ na enoto, kjer pa je potrebno upoštevati, da skoraj 1,700 povratnih znamk (po 0.3) ni bilo vnovčenih, kar pomeni dobrih 5€ na realizirano anketo (če štejemo še vnos). Ker pa bi v samostojno poštno anketo zagotovo pridobili še enkrat toliko respondentov (ki so pred tem odgovorili na telefonsko ali spletno), je realna ocena samostoječe pisemske ankete z enim samim dopisom okoli 3€. Stroški povsem primerljive ankete pa so po drugi strani spet nekoliko večji, saj bi celotna anketa - in ne le izbor na dveh straneh - imela bistveno več strani, kar bi podražilo poštnino in tisk. Dodati pa je treba še vnos (medtem ko je čiščenje podatkov vključeno v dodatno metodološko delo), tako da je realna cena primerljive realizirane poštne ankete najmanj 4€. V celoti gledano smo torej v kombinirani anketi pol vzorca pridobili po 3€ (telefon), polovico pa po 5€ (splet, pošta), kar se v povprečju v grobem ujema s samostojno telefonsko anketo (s poštnim vabilom), kjer so stroški na realizirano enoto tudi 4€. Tabela 18: Pregled grobih ocen stroškov glede na izbrani način zbiranja podatkov Stroški na anketo (€) Kombiniran način (dejansko) Samostojna izvedba (morebitno) web 5 5 telefon 3 4 pošta 5 5 Povprečje 4* _ Metodološko delo, izraženo v mesecihi 4-6 1-2 * Upoštevamo dejansko razmerje, kjer je bila polovica vzorca izvedena preko telefona Zgornji izračun je zelo okviren in v veliki meri odvisen tudi od velikosti vzorca, od stroškovnih nians (npr. dosežena cena tiska), ter sprememb v metodologiji. Tako npr. v realnosti verjetno ni bilo optimalno, da bi imeli - posebej ne v samostojni izvedbi - le en sam dopis za spletno ali poštno anketo. Kljub temu je prvi vtis glede stroškov zelo jasen: pri tako kratki anketi in pri tako nizki stopnji odgovora v spletni anketi je videti, da so stroški telefonske ankete še vedno daleč najbolj ugodni, še posebej če v alternativnem kombiniranem načinu prištejemo tudi nedvomne povečane fiksne stroške spletne ankete, pisemske ankete in dodatne stroške zaradi kombiniranja načinov, kar v grobem pomeni 2-3 krat večje fiksne metodološke stroške (npr. namesto dveh mesecev imamo štiri do šest mesecev metodološkega dela) kot v primeru zgolj telefonske ankete. Ponovimo, da metodološko delo pomeni predvsem pripravo in prilagoditev vprašalnika v določenem načinu anketiranja, urejanje in pripravo podatkov. V primeru kombinirane ankete pa pomeni usklajevanje in administracijo vseh treh načinov in tudi dodatno delo pri kombiniranju podatkovne baze ter pri analizah, primerjavah, uteževanju ter metodološkem poročanju. Če so torej tekoči stroški na enoto odgovora v obeh primerih enaki - za celotno SURS anketo bi to bilo okoli 7,000€ (1758 x 4€), pa so skupni stroški kombinirane ankete večji za 2-4 mesece metodološkega dela, torej najmanj za okoli 5,000€. Seveda ves ta prihranek na stroških ne pomeni veliko, če pa so morda ocene iz telefonske ankete tako zelo napačne. Zgoraj so zato navedeni le osnovni izračuni, ki pa so seveda zelo občutljivi na nadaljnje predpostavke o razmerju med fiksnimi in variabilnimi stroški. Kljub temu dobro ilustrirajo razmerja v tem konkretnem primeru in okoliščinah. Podrobna simulacija bi pokazala, v kateri smeri so možni prihranki, v veliki zadregi pa smo seveda pri računanju »srednje kvadratne napake« (angl. mean squared error, MSE), saj je povsem nejasno, kaj je prava populacijska vrednost. 7. sklep Ugotovili smo naslednje: • s kombinirano anketo (splet, telefon, pošta), ki je potekala vzporedno z uradno anketo TU-ČAP v drugem četrtletju 2012, smo po vseh treh korakih - od bruto vzorca 3,000 enot - dobili 43% enot z odgovori, kar velja primerjati s 33%, kolikor je bilo odgovorov v uradni anketi z bruto vzorcem 5,300 enot; • kombinirana anketa je privabila nekoliko drugačno socio-demografsko strukturo (več mladih, več izobraženih), vendar odgovarjajoče uteževanje ne prinaša bistvenih sprememb, čeprav smiselno nakazuje smer popravkov: v kombinirani anketi se z uteževanjem niža obseg potovanj (zaradi podcenjenega dela neizobraženih enot), tako da določeno precenjevanje v kombinirani anketi verjetno še verjetno obstaja (kljub vsemu verjetno v bistveno manjšem obsegu kot obstaja podcenjevanje v telefonski anketi); • ocene iz kombinirane ankete so za ključne spremenljivke dramatično drugačne od ocen iz uradne SURS ankete, saj je slednja identificirala bistveno manj potovalnih aktivnosti; govorimo o razlikah za 30%, 100% in celo 300% vrednosti ocene; • na primerjave lahko v določeni meri vplivajo tudi posebnosti pri izvedbi kombinirane ankete, ki je zaradi spodnjih razlogov dosegla nekoliko manjši odziv (pri izvedbi, ki bi potekala po planu, bi skoraj zagotovo presegli 50% odziv, namesto 43%): ■ zaradi kompliciranih postopkov pridobivanja dopisa in podpisa s strani SURS je v celoti izpadlo drugo poštno vabilo v spletno anketo, ki je bilo sicer predvideno, ■ posledično so tudi na prvi dopis imeli anketiranci premalo časa, saj je telefonska anketa sledila zelo hitro, manj kot v tednu dni, ■ potek telefonske ankete je bil umeščen okoli praznikov, zato ni bila tako učinkovita kot v uradnem delu. • Izvor razlik v ocenah med anketama lahko strukturiramo, pri čemer na tej točki ocenjujemo, da se po pomembnosti razvrščajo takole: 1. Povezanost sodelovanja v telefonskem načinu z obsegom potovanj: osebe, ki več potujejo, imajo namreč redkeje fiksni telefon, predvsem pa so redkeje na njem dosegljive in kooperativne (gre za tipičen primern NMAR - not missing at random), kar vpliva na podcenjenost potovanj v telefonski anketi, 2. Nižji celotni odziv v anketi SURS kot v kombinirani anketi (33% proti 43%), 3. Učinek načina anketiranja (vključno z specifičnostmi kontrol v spletnem vprašalniku in odsotnostjo kontrol v pisemskem vprašalniku), 4. Druge, neznane napake, 5. Vzorčna napaka. • V pogledu tekočih stroškov na enoto odgovora kombinirana anketa ni videti cenejša od telefonske uradne ankete SURS (ki jo ocenjujemo na cca 4€ na enoto odgovora), seveda pa je kombinirana anketa v smislu metodološkega dela bistveno bolj zapletena in zaradi tega v celoti gledano podraži-vsaj prvo, postavitveno - izvedbo ankete za najmanj 50%. Dodajanje spletne/poštne možnosti anketiranja torej pri tovrstni (zelo kratki anketi in pri nizki stopnji odziva na spletno anketo) ne poceni procesov. Hkrati pa postaja na drugi strani vključevanje spleta in pošte (seveda lahko tudi osebnega anketiranja) nujnost za dobro doseganje ciljne populacije, saj gre za zelo specifično anketo, kjer je sodelovanje (odsotnost) tesno povezano z vsebino proučevanja (potovanje). S te plati TU-ČAP morda ni najbolj primerna za proučevanje potencialnega nižanja stroškov, saj je učinek načina anketiranja zelo velik. Po drugi strani pa je ravno zaradi tega anketa tako zelo poučna. Ker ne vemo, kakšne so realne (prave) vrednosti ciljnih spremenljivk, bi slednje veljalo raziskati z dodatnimi raziskavam, najprej glede problema telefonske ankete: • Pregledati, če je vprašanje o potovanjih vključeno v kako drugo obstoječo raziskavo s terenskim anketiranjem in tam analizirati učinek telefonskega podvzorca, • Vključiti vprašanja o obsegu potovanj v neko večjo raziskavo s terenskim anektiranjem (ADS, SILK,...). V obeh primerih bi se s tem analiziralo učinek posedovanja telefona (ali osebe, ki nimajo fiksnega telefona, manj potujejo?). Seveda pa bi to še vedno ne odgovorilo na vprašanje, če take osebe v anketi - ko so enkrat izbrane - tudi manj sodelujejo. Učinek načina anketiranja bi lahko osvetlilo naslednje: • Izvesti kontrolno anketo in anketirance, ki so v TU-ČAP odgovorili v telefonski anketi in jih o ključnih spremenljivkah vprašati še po pošti ali po spletu (s tem bi ocenili morebitni učinek načina anketiranja). Vpliv dosežene stopnje pa bi lahko osvetlilo naslednje: • dodatno poštno/spletno anketiranje oseb v TU-ČAP, ki v telefonski anketi niso bile zajete. Na tej osnovi bi lahko natančneje ocenili, kaj je prava vrednost ciljnih spremenljivk in v skladu s tem učinkoviteje ukrepali. Morebitni kombinirani način pa bi v bodoče seveda veljalo tudi izboljšati, predvsem v smeri: • večjega števila dopisov, • boljšega kombiniranja načinov anketiranja, • izboljšanega timinga, • izboljšav v spletenem in poštnem vprašalniku, • nagrajevanju respondentov (vsaj npr. povratna informacija, zloženka,...) Pridobiti pa bi veljalo tudi morebitne izkušnje s kombinacijo načinov anketiranja v tovrstnih anketah o potovanjih iz drugih držav. 8. LITERATURA Biemer, P. P., in Lyberg, L. E. (2003). Introduction to survey quality. Hoboken, NJ: Wiley. Das, M. (2006). An Advanced Multi-Disciplinary Facility for Measurement and Experimentation in the Social Sciences (MESS). Nederlandse Organisatie voor Wetenschappelijk Onderzoek. de Leeuw, E. D. (2005). To mix or not to mix data collection modes in surveys. Journal of Official Statistics, 21(2), 233-255. Deming, W. E. (1953). On a probability mechanism to attain an economic balance between the resultant error of response and the bias of nonresponse. Journal of the American Statistical Association 48(264), 743-772. Dillman, D. A. (2008). Internet, mail and mixed-mode surveys: The tailored design method. Hoboken, NJ: Wiley. Dillman, D. A., Smyth, J. D., & Christian, L. M. (2009). Internet, mail, and mixed-mode surveys. Hoboken, NJ: Wiley. Dolnicar, S., Laesser, C, & Matus, K. (2009). Online Versus Paper: Format Effects in Tourism Surveys. Journal of Travel Research, 47(3), 295-316. Elliott, M., Little, R.J.A. and Lewitsky, S. (2000). Subsampling Callbacks to Improve Survey Efficiency. Journal of the American Statistical Association, 95, 730-738. Fricker, S., Galesic, M., Tourangeau, R., & Ting, Y. (2005). An experimental comparison of Web and telephone surveys. Public Opinion Quarterly, 69(3), 370-392. Groves, R. M. (1989). Survey Errors and Survey Costs. New Jersey: John Wiley & Sonc, Inc.. Harter, R., Mach, T., Wolken, J., in Chapline, J. (2007, Junij). Determining subsampling rates for nonrespondents. Prispevek na konferenci Third International Conference on Establishment Surveys, Montreal, Canada. Hórngren, J., Lundquist, P. in Westling, S. (2008). Effects of Number of Call Attempts on Nonresponse Rates and Nonresponse Bias - Result from Some Case Studies at Statistics Sweden. Proceedings of Statistics Canada Symposium 2008. Data Collection: Challenges, Achievements and New Directions. Jackie, A., Roberts, C., in Lynn, P. (2006). Telephone versus face-to-face interviewing: Mode effects on data quality and likely causes: Report on Phase II of the ESS-Gallup Mixed Mode Methodology Project (ISER Working Paper 2006-41). Kish, L. (1965). Survey sampling. New York, NY: Wiley. Krosnick, J. A. (2006). Development of a Computer Network for Experimental and Non-Experimental Data Collection via the Internet from a Nationally Representative Sample of American Households. Financer projekta: National Science Foundation. Lessler, J. T., in Kalsbeek, W. D. (1992). Nonsampling error in surveys. New York: Wiley. Linacre, S. J., & Trewin, D. J. (1993). Total survey design - Application to a collection of the construction industry. Journal of Official Statistics, 9(3), 611-621. Lozar Manfreda, K., Bošnjak, M., Berzelak, J., Haas, I., in Vehovar, V. (2008). Web surveys versus other survey modes: A meta-analysis comparing response rates. International Journal of Market Research, 50(1), 79-104. O'Muircheartaigh, C., Krosnick, J. A. in Dennis, J. M. (2007). Face-to-Face Recruitment of an Internet Survey Panel: Lessons from an NSF-Sponsored Demonstration Protect. Prispevek na konferenci The American Association for Public Opinion Research (AAPOR) 62th Annual Conference, Anaheim, California. Vehovar, V., Lozar Manfreda, K. in Batagelj, Z. (2001). Sensitivity of electronic commerce measurement to the survey instrument. International journal of electronic commerce, vol. 6, št. 1, str. 31-51. 9. priloge Priloga 1: Poštno vabilo k sodelovanju v spletni anketi © REPUBtIKA SLOVENIJA M STATISTIČNI URAD REPUBLIKE SLOVENIJE Številka: 960-197/2012/1 Datum: 10.4.2012 Spoštovani, na Statističnem uradu Republike Slovenije v sodelovanju s Fakulteto za družbene vede izvajamo s Anketo o potovanjih domačega prebivalstva«. V vzorec oseb. KI jih želimo anketirati, ste bili izbrani tudi Vi. Naj Vam na kratko pojasnimo; Naman tega anketnega raziskovanja: S ta anketo zbiramo podatke o zasebnih in poslovnih potovanjih ter enodnevnih izletih prebivalcev Slovenije. Zanima nas, zakaj, kam. za koliko časa, kdaj, kako odhajamo z doma in koliko denarja za to porabimo (za prevoz, za nas!ani(ev, za hrano in pijačo v restavracijah/lokalih, za druge nakupa in storitve). Ugotoviti želimo tudi, zakaj nekateri prebivale! ne potujejo. Zanimajo nas podatki o potovanjih in enodnevnih izletih v obdobju januar-fabruar-marec 2012, ki so se končali do 31. marca 2012, In tudi o potovanjih, ki so se začela že pred januarjem 2012, končala pa v okviru navedenih treh mesecev. Potek anketiranja Če imate ctostop do intemeta, Vas prosimo, da izpolnite vprašalnik, ki je objavljen na spletu. To lahko storite tako, da v spletni brskalnik vpišete naslov: http;//pQt.1ka.8l in vnesete kodo: Anketa traja v povprečju pet minut, če nimate dostopa do internata ali Ce ne boste odgovorili iz kek&iega drugega razloga, Vas bo v aprilu po telefonu poklical anketar Statističnega urada. Starše oz. skrbnike prosimo, da osebi, ki je mlajfia od IS let, če je bilo nanjo naslovljeno obvestilno pismo, dovolijo sodelovati pri anketiranju; za razumevanje se jim zahvaljujemo. Vaše sodelovanje je prostovoljno, vljudno pa Vas prosimo, da odgovorite na vprašanja, saj je za kakovost raziskovanja pomembno, da v njem sodelujejo osebe iz vseh delov Slovenije, Pravna podlaga za zbiranje podatkov za statistični namen Vsi podatki, zbrani s to anketo, veljajo za strogo zaupne in jih bomo uporabili semo za statistične namene - v skladu z Zakonom o državni statistiki (Uradni list RS, št. 45/95 In št. 9/01) in Letnim programom statističnih raziskovanj (Uradni list RS, št. 92/11). Dodatne informacije o tem raziskovanju Če Vas v zvezi z anketo ¿e kar koli zanima, Vas prosimo, da nas pokličete na Številko (01) 580 52 78, in sicer vsak delavnik med 7. in 19. uro, ali nam pišite na elektronski naslov: oot@1ka.si. Priloga 2: Dopis k poštni anketi REPUBLIKA SLOVENI JA M- STATISTIČNI URAD REPUBLIKE SLOVENIJE Številka: 660-187/2012/1 Datum: S. 5. 2Q12 Spoštovani. v aprilu smo vas prosili za sodelovanje v »Anketi o potovanjih domačega prebivalstva*, ki jo izvajamo na Statističnem uradu v sodelovanju s Fakulteto za družbene vede. Vaše sodefovanje je za kakovost zbranih podatkov zeto pomembno, zalo Vas vljudno prosimo, da izpolnite kratek vprašalnik na papiiju in nam ga v priloženi pisemski ovojnici pošljete po pošti. Poštnina je že plačana. Ce imate dostop do intemeta, lahko v anketi sodelujete prek spleta tako, da v spletni brskalnik vpišete naslov: http:.7pot.1ka.si in vneseie kodo: V kolikor ste vprašalnik že izpolnili prek spleta ali po telefonu, se Vam za sodelovanje iskreno zahvaljujemo. Pravna podlaga za zbiranje podatkov za statistični namen. Vsi podatki, zbrani s to anketo veljajo za strogo zaupne in jih bomo uporabili samo za statistične namene - v skladu z Zakonom o državni statistiki (Uradni list RS, št 45/85 in št 8/01) in Letnim programom statističnih raziskovanj (Uradni list RS, št. 92/M). Dodatne informacije o tej raziskavi. Ce Vas v zveza z anketo še karkoli zanima. Vas prosimo, da nas pokličete na številko (01) 580 52 78 (vsak delavnik med 7. in 18. uro), aii nam pišite na elektronski naslov pot@1ka.si. Za sodelovanje se Vam zahvaljujemo in Vas lepo pozdravljamo! Mag. Irena Križman. generalna direktorica StKsBCnl urad RepuBIlSe- Slovenije. UíosaojEfca ceta 54, S000 Lfatsjans, slovenja Priloga 3: Poštni vprašalnik Anketa o potovanjih domačega prebivalstva hepubukaanvenija M- btfttistuni urad repl6uke bujvehje: SKLOPA Poslovna potovanja m Ali ste Mi v obdobju JANUAR-FEBRUAR-MAREC 2012 na poslovnem ali študijskem potovanju v Sloveniji ali tujini in ste se vrnili do 31. marca 2012. med tem pa ste najmanj enkrat prenočili? ksws Pufaw» alitu^to potovanje: kongres, semter, postavno srečanje oz. sesane*, sejem. razstava, misija, znanstveno raziskovanje. ii&is. profesionalna i poštna udeležBa, strokovno epopanjevanje, strokovna ekskurzija «Jakov ali Študentov (ne končni izlet!), Izmenjava dijakov ■[■''«i*; a£ Studsntov, Ce juti prevoz In prenoii56e p&£a Sola oz. fs£uf3eia..... | |i Da. Kolfcokraiste v tem obdobju odšli na poslovno potovanje v Sloveniji ali tujini? | krat □site. Zasebna potovanja Ali ste bili v obdobju JANUAR-FEBRUAR-MAREC 2012 na zasebnim potovanju, počitnicah, večdnevnem izletu, vikendu, obisku v Sloveniji ali tujini in ste se vrnili do 31. marca 2012, med tem pa ste najmanj enkrat prenočili? Zasebno potovanje: pre2M[an)s prostega tasa, p&SinM, rekreacija, «jlea naravnih m kulturnih znamenitost obte* Kulturnih, zabavnin, 6poOnih prireditev kot rjiedalec a» amaterc» udeleženec, nakupovale, izobraževanje na lastno pobudo, romanje SI religiozne dejavno«!, sum za zdravje, btranje v zdravilišču, o&lsk sorodnikov«! prijateljev, «vanje v testm ali družinski počitniški nisi a« stanovanju ¡na vsaidu). □i Da. □i Ne. Hadare prí^ Abda$qjfepri(?EjI Ali ste morda vtem obdobju SKORAJ VSAK KONEC TEDNA odrejali V ISTI KRAJ in ste tam VSAKIČ prenočili najmanj enkrat in največ trikrat - na primer v lastno počitniško bivališče (vikend) ali k sorodnikom in prijateljem? Ta kraj naj K on vsa; 25 km oddaljen od vašega ma. v primeru, daste v ta kraj otf&l manj kot Sttlkrat vzadnjll» treh mesecih, rteh oiBiodovne upoSlev^ekrt redneodhode.; r □iDa. •» NadaJtftepnšS □i Ne. ■» NadaljtfiepriJ^, Ali je kraj, kamor ste ocHiajali skoraj vsak konec ; tedna, v Sloveniji ali tujini in kojftokrat ste odšE v ta kraj? □iVSkwenip. I la V tujini. število potovanj v 1a kraj: | | Razen tega. da ste skoraj vsak konec tedna odhajali v ta kraj, ali ste v obdobju januar-februar-mairec 2012 biR še na kakšnem večdnevnem izletu, počitnicah, potovanju, in sicer v Sloveniji ali tujini? □iVStararap. ■» HidaSuite prift* ' | |ž V tujini. * Nadaljujte pri ¿Jr^ I | s V Slovenj in v tujini. Nadaljujte priE3! m HE3 T"~U Nisem šel na drupa zasebna potovanja. 1—> Nadaljujte pri^J- Ali ste bili na počitniaah. na večdnevnem izletu, na potovanju, na obisku samo v Sloveniji, samo v tujini afi v Sloveniji in tujini? V Sloveniji. /tefeMeciil?1 □i V tujini. ^ Nadaljujte pri Kolikokrat ste odšli na zasebno potovanje, počitnice... BI V Sloveniji? | |-hat E1 VtufTO? | |-krat . Ali ste na katerem izmed teh zasebnih potovanj prenočili štirikrat ali večkrat? [3 Da. MadalMe nriMlklifflijjl □j Ne. Nadaljujte priEH m Prosim, povejte najpomembnejši razlog, da v obdobju januar-febraar-manec 2012 niste odšli na zasebno potovanje/počitnice v Sloveniji ali tujini, med katerim bi vsaj štirikrat prenočili? Oznaiiis samo en < | 11Ne čutim potrebe, ne že&n zapuščati svojega doma. | | 2 Neprimeren letni čas. | | s OdtajaKa sem na krajša potovanjafcoStrece (npr. v počitniško bivališče) a£ na enodnevne izlete. | | i Pomanjkanj prostega časa zaracS detoimij obveznosti. I I s Pomanjkanje prostega oarsa zaradi družinskih obveznosti. «fi primerne družbe. | I 7 Finančni razlogi. I I s Zdravstveni razlog. I I g Varnostni razJogi l~1 « Drugi razfcgi. Prosimo, navedite druge razloge: _ 1 Koda: «toda»» Izleti v tujini in v Sloveniji Kot tztet upoitevajte potovanje, ki traja manj tot 24 ur in niste prenosni tzlet je laiiko tsidl natupovasije čez mejo ai poslovne narave. Obvoz tez mejo zaradi n^revoznosiS v Slaveffljl Ni izlet v tujino. pa5pa zgoi| tranzitni prevoz. KI Ali ste v obdobju januar-februar-marec 2012 odšli na enodnevni fcdet V SLOVENUO ALI TUJINO in niste prenočili? ■ ■ Q t: Da.: iNadaljcgie pri ¡2 □2 Ne. NsdaMepriEESEE] JJJ V katerih državah ste bili na enodnevnem izletu? Označite /aMo več odgovorov. Slovenj. □ »V talf. □jVAffitif. Os Na Hrvaškem. : Q+Na Madžarskem. : □s V NemSli. : O«V drugihfdržaraSi. Socio-d etnografski del Prosimo se za nekaj odgovorov o vas m vasem ^ Koliko članov šteje vaše gospodinjstvo? | [oseb Kolika članov vašega gospodinjstva je starih 15 tet ali več? | | oseb Kakšna je vaša najvišja dosežena izobrazba? | 11 Brez šolske izobrazbe. | | 2 Nepopolna osnovnošolska izobrazba. | | s Osnovnošolska izcforazba. | I * Miga ali srednja poklicna izobrazba. | | 5 Srednja strokovna izobrazba. [~1 «Srednja sptošna izobrazba. I I 7 Višja s (redovna. višješolska izobrazba. [~1 a Visokošolska strokovna izobrazba. I | o Visokošolska univeizitetna izobrazba. I I 10 SpeciaEzac}a. I I 11 Magisterij. □ e Doktorat Kako bi opisali vaš sedanp status? Ali ste... | | 1 Zaposlena, samozaposJeri. [^jaKmet. f~l »Brezposelni. | | * Upokojenec. Q s Dijak, študent. fl (s Drago (gospodinja, ...)l Prosimo, označite vaš spol. □ 1 Moški [~l a Ženski. gospodinjstvu. Ali lahko poveste letnico vašega rojstva? Leto: | [ [[¡J Zaradi analize potovanj po dohodkovnih razredih nas zanima, kolikšen je mesečni neto dohodek vašega gospodinjstva, to je vseh članov vašega gospodinjstva skupaj? ,00 evrov Konec anfceie | | MfJevem. Watfefetean"[HH Q »Ne želim odgovoriti. Nadafi^iepri^ ^ Morda bi dohodek vašega gospodinjstva lažje ocenili s pomočjo lestvice dohodkovnih razredov (v EUR): □ 1 do 500 evrov? □ i do 7tK> evrav? □ j do 900 evrov? □ ^0=1,...^) pa ni manjkajočih vrednosti; člen ^Gtyft/) je enak 1, če je y^- manjkajoč oziroma se razlikuje od .fj, v nasprotnem primeru je člen enak 0. 3 »Interaktivno« urejanje v tem kontekstu torej pomeni sprotno urejanje ob vnosu oz. interakcijo z vnosom podatkov. Glede na angleški izraz (angl. interactive data editing) pa lahko interaktivno urejanje lahko zajema tudi vse vrste urejanja, pri katerih je človek v interakciji s posameznimi podatki oz. jih ročno popravlja. Utež zanesljivosti spremenljivke je nenegativna vrednost, ki nam označuje oceno zanesljivosti vrednosti na posamezni spremenljivki, saj nimamo zagotovila, da so spremenljivke, ki jih postopek določi, res tiste, ki so povzročile napako. Visoka vrednost uteži kaže na zanesljivost podatkov, nizka vrednost pa na njihovo nezanesljivost. Metoda Hidiroglouja in Berthelota (Hidiroglou in Berthelot, 1986; Luži et al., b.l.; Seljak, 2005; Turner in Barboza, 2011) je eden najpogosteje uporabljenih postopkov v periodičnih anketah podjetij za določanje osamelcev. Postopek izvedemo s primerjavo razmerij dveh zaporednih meritev pri isti enoti: kjer sta VtJ-1 in Vtj.z meri spremenljivke na isti enoti / v dveh časovnih obdobji, t=l in t=2. Vrednosti razmerij nato transformiramo, pri tem največkrat uporabimo (netehtano) mediano: med (t.) , , 1--—, 0 < ty < med {tj) £ i i. "i J. £0 med (t;) -1, ttJ > med (tj) Ker se vrednosti razmerij med seboj razlikujejo, opravimo še transformacijo za določitev vrednosti učinka: % = siJ [max ^i).i'yi},z)]U kjer je 0 < U < 1 vrednost parametra, ki označuje vpliv absolutne velikosti v transformaciji. Vrednost učinka predstavlja podlago za postavitev kritičnih vrednosti pri iskanju osamelcev. Določimo mediano EM, prvi kvartil EQ1 in tretji kvartil EQ3 porazdelitve f/, ter odklona dQi =max(EM-EQ]j \aem\) in = max(EM-EQ3/ \a%m\), kjer IaemI predstavlja popravek v primeru, ko so vrednosti zgoščene okrog mediane. Kot osameice označimo vrednosti izven intervala: [EM EM + kjer je C ustrezno izbran parameter. Pri iskanju osamelcev lahko postopek izvedemo tudi ob pomoči grafične predstavitve podatkov. Opisana metoda predstavlja postopek določanja osamelcev ene spremenljivke oziroma s pomočjo univariatnih metod, kjer osameice določimo kot enote, pri katerih je razdalja od neke robustne cenilke lokacije (pogosto mediane) večja od določene kritične vrednosti oz. praga. Osameice pa lahko določamo tudi na podlagi več spremenljivk oziroma s pomočjo multivariatnih metod (Todorov, Tempi in Filzmoser, 2011; Luži et al., b.l.), kjer pogosto uporabljamo (kvadrirano) Mahalanobisovo razdaljo opazovane enote y,- od centra m s kovariančno matriko C: d2=(y-m)TC1(y-m). Ta metoda je najbolj primerna za podatke, ki so porazdeljeni eliptično-večrazsežno normalno. 2.2.3 Selektivno urejanje podatkov Selektivno urejanje podatkov (angl. selective editing, tudi significance editing - Lawrence in McKenzie, 2000, Hedlin, 2003) označuje metode odkrivanja vplivnih napak v bazi podatkov. Cilj selektivnega urejanja je razvrstiti zbrane podatke v dve veji (angl. stream): kritično in nekritično (Luži et al., b.l.). Kritična veja vključuje podatke, ki najverjetneje vsebujejo vplivne napake; medtem ko podatki v nekritični veji najverjetneje ne vsebujejo kritičnih napak. Pri tem ima lahko kritična napaka nezanemarljiv vpliv na končno oceno. Ročno urejamo samo podatke v kritični skupini, podatkov v nekritični skupini pa ne urejamo oziroma jih urejamo avtomatsko. Tehnike selektivnega urejanja so posebej primerne za ankete podjetij, kjer so nekatere enote pomembnejše od drugih zaradi svojega večjega prispevka h končni oceni (pri anketah posameznikov te značilnosti tipično nimamo, saj ima vsak posameznik enako težo). Selektivno urejanje je tako postalo priljubljena metoda za urejanje podatkov podjetij in jo zato uporablja vse več statističnih uradov (Silva et al., 2009; Norberg, 2009; Hooper & Lewis, 2010; Turner in Barboza, 2011). Veliko tehnik selektivnega urejanja je razmeroma preprostih ad-hoc tehnik, ki so osnovane na zdravorazumskih temeljih, čeprav se uporabljajo tudi kompleksnejše tehnike (de Waal, 2008). Osnovni koncept selektivnega urejanja sloni na vpeljavi tako imenovane funkcije pomembnosti (angl. score function) (Hedlin, 2003). Opredeljujeta jo dve komponenti: • komponenta vpliva, ki meri relativni vpliv posamezne enote na skupno oceno, • komponenta tveganja, ki se večinoma nanaša na odklon opazovane vrednosti od postavljene kontrole oziroma od »pričakovane« vrednosti, le-ta je odvisna od specifičnega nabora podatkov, npr. pri presečnih študijah lahko uporabimo aritmetične sredine ali mediane, pri longitudinalnih pa podatke iz prejšnjih obdobij. Funkcijo pomembnosti za posamezno enoto poimenujemo globalna funkcija pomembnosti (de Waal, 2008). Velikokrat je osnovana na lokalnih funkcijah pomembnosti, ki se nanašajo na posamezne spremenljivke (anketna vprašanja) znotraj izbrane enote. Lokalno funkcijo pomembnosti definiramo kot razdaljo med opazovano vrednostjo spremenljivke y in pričakovano vrednostjo spremenljivke 9 v izbrani enoti /', pri čemer upoštevamo vpliv (utež) enote w: Globalna funkcija pomembnosti združuje lokalne funkcije pomembnosti v mero na ravni enote, na podlagi katere se odločimo, ali bomo enoto obravnavali z ročnim urejanjem ali ne. Najsplošnejši in najpogostejši pristop združevanja lokalnih funkcij v globalno predstavlja uporaba razdalje Minkowskega (Hedlin, 2008; Silva et al., 2009; Hooper in Lewis, 2010), ki omogoča združevanje na podlagi različnih mer, npr. (tehtanih) vsot lokalnih funkcij ali njihovih maksimumov: kjer je GSrglobalna funkcija pomembnosti za enoto r, LSr/i — Oje lokalna funkcija pomembnosti za /-to spremenljivko, LS^(LSrjlJ...LSrjn); n je število vseh spremenljivk, a je parameter, katerega izbira določa, kako bomo združevali lokalne funkcije pomembnosti v globalno. Pri a=l funkcije samo seštejemo, pri a=2 je globalna funkcija pomembnosti Evklidska razdalja. i n Pri združevanju moramo upoštevati, da so različne spremenljivke lahko merjene v različnih enotah, zato jih je potrebno predhodno normalizirati, kar lahko storimo na različne načine, npr. z deljenjem opazovane vrednosti s poprečno vrednostjo, s standardno napako oziroma s povprečno kvadrirano napako spremenljivke (Hedlin, 2009; Lawrence in McKenzie, 2000). Ko izberemo metodo določanja globalne funkcije pomembnosti, je potrebno določiti mejno vrednost. Tako izberemo kritične enote, torej enote, pri katerih funkcija pomembnosti preseže vnaprej določen prag - mejno vrednost. Če nas zanima samo ena spremenljivka, uporabimo njeno lokalno funkcijo pomembnosti pri določitvi kritičnih enot. Vse enote, katerih globalna funkcija pomembnosti preseže mejno vrednost, bodo stopile v proces ročnega urejanja. Nekateri statistični uradi pa v zadnjem času uvajajo tudi nov pristop k določanju spremenljivk, ki jih v naslednjem koraku obravnavamo ročno. Poleg že uveljavljenega določanje funkcije pomembnosti, ključne spremenljivke v izbranih raziskavah tako opredelijo tudi po posvetovanju z uporabniki statističnih podatkov (Skentelbery, Finselbach in Dobbins, 2011) in upoštevanju različnih indikatorjev kakovosti podatkov (Godbout, Beaucagein Turmelle, 2011). Pogost pristop k določanju mejne vrednosti je izvedba simulacijske študije (de Waal, 2008), kjer uporabimo surov, neurejen niz podatkov in pripadajočo prečiščeno, urejeno obliko (največkrat iz preteklega časovnega obdobja). Simulacijska študija je obenem lahko tudi način ovrednotenja ustreznosti kontrol in postopka urejanja, saj nam omogoča preverjanje, ali datoteke z visoko globalno funkcijo pomembnosti zares vsebujejo vplivne napake. Izvedba simulacijske študije pa ni vedno mogoča, npr. ko nimamo na voljo podatkov iz preteklega časovnega obdobja. V tem primeru Lawrence in McKenzie (2000) predlagata uporabo modela, s pomočjo katerega ocenimo mejne vrednosti. Model je močno odvisen od izhodiščnih predpostavk, zato avtorja predlagata uporabo samo v začetni fazi procesa urejanja za določitev prve mejne vrednosti, v nadaljevanju pa uporabo simulacijskih študij na podlagi trenutnega urejanja. Hedlin (2003) zgoraj omenjeni pristop poimenuje na oceno usmerjeni pristop (angl. estimate-related approach), sam pa uvede na kontrole usmerjeni pristop (angl. edit-related approach) k selektivnemu urejanju, kjer ugotavljamo, koliko kontrolam posamezna enota ne zadosti in kolikšno je odstopanje (angl. amount of failure). Le-to se razlikuje glede na uporabljene kontrole, zato avtor predlaga, da globalno funkcijo pomembnosti za izbrano enoto določimo s pomočjo Mahalanobisove razdalje. Ker zaradi predhodne selekcije ne obravnavamo vseh enot ročno, je postopek selektivnega urejanja podatkov hitrejši, z zmanjšanjem ponovnega kontaktiranja podjetij lahko prispevamo k njihovi manjši obremenjenosti, s spoznanjem, da ima večina napak majhen vpliv na končno oceno, pa se skušamo izogniti pretiranemu urejanju oziroma ga zmanjšati. Predvsem pa s selektivnim urejanjem pomembno zmanjšamo stroške urejanja in s tem stroške ankete (lives, 2008). Statistični uradi so na primerih izbranih anket podjetij (Hedlin, 2003; Silva et al. 2009, Hooper & Lewis, 2010; Adolfsson et. al, 2010) pokazali, da selektivno urejanje v primerjavi s trenutno najpogosteje uporabljenimi postopki urejanja (na mikro ravni) prihrani približno 50% stroškov in pomembno zmanjša vpliv merskih napak na končno oceno. 2.2.4 Urejanje podatkov na makro ravni Urejanje na makro ravni lahko obravnavamo kot obliko selektivnega urejanja (de Wall, 2008). Razlika med njima je v fazi, ko se pojavita v procesu statističnega urejanja podatkov. Selektivno urejanje lahko nastopi že v začetnih fazah, ko se podatki še zbirajo, medtem ko urejanje na makro ravni izvajamo na koncu procesa urejanja podatkov, ko je vsaj večina podatkov zbranih (Luži et al., b.l.). V nasprotju s selektivnim urejanjem, ko vsako enoto urejamo posebej, pri urejanju na makro ravni obravnavamo vse podatke skupaj. S pomočjo selektivnega urejanja tako ugotavljamo, če so podatki posamezne enote ustrezni, z urejanjem na makro ravni pa preverimo, če je celoten nabor podatkov ustrezen. Razlikujemo med dvema oblikama urejanja na makro ravni: • Z metodo agregacije (angl. aggregation method) (Luži et al., b.l.) preverjamo, ali so statistike, ki bodo objavljene, ustrezne. To naredimo s primerjavo s statistikami iz preteklih obdobij, s statistikami, izpeljanih iz podatkov registra ali drugih, primerljivih virov. Če so vrednosti statistik nepričakovane, izvedemo še urejanje na mikro ravni, torej na posameznih enotah. • Z metodo distribucije (angl. distribution method) (de Waal, 2008) najprej preverimo porazdelitev spremenljivke (v novem nizu podatkov, ki ga je potrebno še urediti). Vse posamezne vrednosti nato primerjamo s porazdelitvijo v referenčnem nizu podatkov (na podlagi izračunanih mer razdalje oziroma razpršenosti). Enote, ki vsebujejo nepričakovane vrednosti (v odnosu do porazdelitve), se nato nadalje pregledajo in po potrebi popravijo. 2.3 Primerjava metod urejanja podatkov Urejanje na mikro ravni in urejanje na makro ravni predstavljata komplementarna postopka. Napake, ki so očitne z enega gledišča, so lahko prikrite z drugega. Z urejanjem na mikro ravni lahko na primer odkrijemo več napak kot z urejanjem na makro ravni, a hkrati lahko urejanje na makro ravni odkrije večje, bolj vplivne napake. Pri urejanju na makro ravni lahko učinkovito uporabimo tehnike analize porazdelitve spremenljivk, ki jih ponuja eksploratorna analiza podatkov. Posebej pomembne so grafične tehnike, ki celo lahko nudijo več vpogleda v značilnosti spremenljivk v primerjavi z numeričnimi tehnikami (Luži et al., b.l.; Aelen in Smit, 2009) Grafične porazdelitve lahko ponudijo veliko informacij in pogosto opozorijo na nepričakovane značilnosti, ki jih sicer ne bi opazili, če bi zgolj izračunali statistike. Med novejše tehnike grafičnega urejanja podatkov na makro ravni uvrščamo t.i. grafe dejavnosti (angl. industry plots) (de Waal, 2008). ki prikazujejo multivariaten odnos med ključnimi spremenljivkami posameznih podjetij. V takšnem grafu se »normalna« podjetja združujejo okrog središča grafa, medtem ko ležijo podjetja, ki izstopajo, dlje od središča. S pomočjo tovrstnega prikaza lahko hitro najdemo osamelce, a je njegova izdelava precej zapletena in specifična za posamezno anketo. Za nabore podatkov, ki vsebujejo veliko pomembnih spremenljivk, je priporočljivo grafično urejanje na makro ravni kombinirati še z drugimi metodami. Čeprav se tehnike urejanja na makro ravni na prvi pogled lahko zdijo nepoglobljene, vodijo k večji kakovosti statističnih podatkov (de Waal, 2008). Zavedati se je potrebno, da tudi tradicionalni pristopi na mikro ravni ne odpravijo vedno vseh napak, saj nekatere niso povsem očitne, oziroma v primeru pretiranega urejanja lahko privedejo do neupravičenega spreminjanja povsem sprejemljivih vrednosti. Urejanje na makro ravni v nasprotju z urejanjem na mikro ravni (tako avtomatskim kot ročnim) ne zahteva postavitve kontrol. Postavitev kontrol je namreč lahko težaven in dolgotrajen proces, saj moramo biti pozorni, da kontrole niso preblage (saj ne bi zaznali vplivnih napak) ali prestroge (kar bi vodilo do pretiranega urejanja). Hkrati pa ima odsotnost kontrol tudi določene pomanjkljivosti (de Waal, 2008, Hawkes, 2011). Ko namreč postavimo kontrole pri urejanju na mikro ravni, razmeroma enoznačno vemo, katera enota bo obravnavana kot sumljiva. Pri urejanju na makro ravni pa je ta odločitev v rokah urejevalcev ali vsebinskih strokovnjakov za področje in tako povsem subjektivna. Zaradi možnosti človeške napake je še posebej pomembno, da so na voljo ustrezna orodja, ki omogočajo razlikovanje med pomembnimi in nepomembnimi podatki (Aelen in Smit, 2009). Avtomatsko urejanje podatkov je ponovljiv postopek - če isti nabor podatkov ponovno uredimo in vstavimo, dobimo enake rezultate, kar pa se ne zgodi pri ročnem urejanju in urejanju na makro ravni. Rezultati teh dveh oblik urejanja so deloma subjektivni. Različne osebe ali celo iste osebe v različnih trenutkih bi verjetno dobile drugačne rezultate. Če surovi podatki vsebujejo veliko napak (ko skoraj vsaka enota zahteva popravke), je urejanje na mikro ravni bolj učinkovito od urejanja na makro ravni. V tem primeru urejanje na makro ravni izvedemo šele, ko postane nabor podatkov razmeroma kakovosten (kot rezultat urejanja na mikro ravni). Urejanje na mikro ravni predstavlja tudi edini način zagotavljanja notranje konsistentnosti podatkov posamezne enote (ki zadostijo kontrolam). Avtomatični popravki »očitnih« sistematičnih napak naj bodo po priporočilu (Luži et al., b.l.) vedno izvršeni pred urejanjem na makro ravni. Ta oblika urejanja na mikro ravni namreč ni draga in lahko izboljša preliminarne ocene agregatov in porazdelitev, ki jih uporabimo v fazi urejanja na makro ravni. Kombiniran pristop (če je možno) selektivnega, ročnega in avtomatičnega urejanja ter urejanja na makro ravni pripomore k izboljšanju tradicionalnega ročnega statističnega urejanja podatkov, pri čemer ohranja ali celo izboljša kakovost podatkov (Luži et al., b.l.; Assoulin in Kilchman, 2008). 2.4 Urejanje podatkov na SURS Ankete podjetij, ki jih izvaja SURS, se v času oddaje poročila pretežno še izvajajo kot poštne ankete, zato je proces urejanja podatkov iz teh anket tesno povezan z vnosom podatkov. Vnos načeloma poteka v »Oddelku za zajem«, urejanje pa večinoma v »Oddelku za analizo in kontrolo vhodnih baz podatkov«, v nekaterih primerih pa tudi na vsebinskem oddelku. Ko se zbiranje anketnih vprašalnikov zaključi v »Oddelku za zbiranje in kontrolo popolnosti zajetja«, urejevalci (»kontrolorji«) vprašalnike najprej ročno pregledajo, da identificirajo podatke, ki so že na prvi pogled sumljivi ali nelogični (npr. izpuščeni sklopi vprašanj, ki bi morali biti izpolnjeni, očitne napake zaradi uporabe napačne enote mere, drugačna dejavnost ipd.). Pri tem upoštevajo pojasnila na koncu vprašalnika, če jih je podjetje navedlo. Gre torej zgolj za grobo kontrolo. Ta se lahko vrši tako, da urejevalec fizično primerja vprašalnik tekočega obdobja s tistim iz predhodnega, če obstaja (npr. pri mesečnih ali četrtletnih anketah). Urejevalci v primeru identificiranih potencialno problematičnih podatkov sami presodijo, ali lahko vnos sami ročno popravijo ali morajo poklicati v podjetje. Tej fazi sledi dvojni vnos, kar pomeni, da prvič samo vnašajo podatke (večja pozornost je namenjena zgolj matični številki podjetja pri prejemu po faksu, kjer je čitljivost nekoliko slabša), drugič pa se obenem izvaja še preverjanje skladnosti drugega vnosa s prvim vnosom. Na neskladnost opozori program, ki v takem primeru izpiše podatek iz prvega in drugega vnosa, vnašalec pa izbere pravilen vnos in ga potrdi. Vnos zadeva zgolj številske podatke, medtem ko se besedila (npr. morebitnih pojasnil in kontaktnih oseb) ne vnaša. Sledi pregled odstopanj in napak v podatkih za vsak vprašalnik posebej, torej urejanje podatkov na mikro ravni, ki pa ni avtomatsko, je pa podprto z računalniškim programom Blaise. Tudi ta druga kontrola se izvede tako, da ima urejevalec pred sabo izpolnjen vprašalnik (v tiskani obliki) in podatke iz tekočega in predhodnega obdobja na ekranu. Tako lahko upošteva tudi morebitna pojasnila, zapisana na vprašalniku. Za posamezno anketo so kontrole4 določene vnaprej. Neizpolnjenost kontrole je označena bodisi kot »težka« bodisi kot »lahka« napaka oz. odstopanje. Velja načelo, da je težke napake potrebno vse odpraviti oz. velika odstopanja preveriti, pri lažjih pa presojajo, ali obstaja možnost, da gre za dejansko situacijo, in se v takem primeru ne ukvarjajo z njo. Pri nekaterih anketah imajo tudi posebno oznako statusa za »ključne enote« in te še bolj preverjajo, še posebej težka odstopanja oz. napake. Med napake, ki jih sami popravijo, na primer sodi nekonsistentno zaokroževanje, nekonsistentno vključevanje davka na dodano vrednost. Nekaj odstopanj pojasnijo primerjave s predhodnim poročanjem (če je na voljo), morebitna pojasnila na vprašalniku, pa tudi poznavanje sezonskih in cikličnih nihanj v posameznih dejavnostih, poslužujejo pa se tudi podatkov o podjetjih na spletu. Nepojasnjena (večja) odstopanja preverijo neposredno pri respondentih (ali so odraz realnega stanja ali zgolj napaka), po potrebi tudi napake, če jih ne uspejo sami razvozlati. Po vnosu popravka oznaka za neizpolnjenost kontrole izgine, vendar se zabeleži, da je bil podatek spremenjen. Če podatka ni oz. ga tudi po dodatnih klicih podjetje ne pošlje, se naknadno vstavi podatek ali pa uporabi predhodno poročanje (odvisno od ankete). Najtežje primere dobi strokovnjak za vsebinsko področje (»svetovalec«) in jih rešuje. Podatke preveri tudi z uporabo standardnih tabel, to je na agregatni ravni in po raznih razčlenitvah, kar lahko označimo kot urejanje podatkov na makro ravni. Tabela 2: Tipičen potek urejanja podatkov na SURS pri anketah podjetij Koraki Vsebina koraka Ročni pregled vprašalnikov Identifikacija očitnih napak na vprašalnikih: => ročni popravek => klic v podjetje Dvojni vnos (številskih) podatkov z vprašalnikov Prenos podatkov v elektronsko obliko, pri čemer drugi vnos zagotavlja odpravo morebitnih neskladij (napak) v prvem vnosu Z računalniškim programom Blaise podprto urejanje Izvajanje vnaprej določenih kontrol v programu: => ročni popravek => klic v podjetje Pregled standardnih tabel Vsebinski pregled končnih ocen. Po potrebi vrnitev na predhodne korake. Pristop, ki ga v času oddaje poročila še vedno v pretežni meri izvajajo na SURS (Tabela 2), tako lahko opredelimo kot tradicionalno, ročno urejanje podatkov, ki ga docela izvajajo zaposleni na statističnem uradu bodisi s fizičnim pregledom vprašalnikov bodisi ob podpori računalniškega programa. Pri tem je z operativnega vidika smiselna odprava očitnih (običajno večjih) napak pred izvajanjem kontrol, saj tovrstne napake zagotovo terjajo poseg v vprašalnik. Vendar pa je s tem izgubljena možnost celovitega spremljanja procesa urejanja in analitike tega procesa, saj prvotno poročani podatki niso zabeleženi v elektronski obliki (prva elektronska verzija je namreč že brez očitnih napak, ki so jih urejevalci odpravili pri prvem grobem pregledu dospelih vprašalnikov). Ta klasični pristop pa je že nadgrajen s postopki avtomatskega urejanja podatkov v par primerih, kjer statistični urad nima možnosti ponovno kontaktirati respondenta, ker anketo izvaja druga inštitucija ali pa ker uporablja administrativne podatke (za več podrobnosti glej Seljak in Špeh, 2005; Seljak, 2008). V teh primerih se za določanje osamelcev uporablja metoda Hidiroglouja in Berthelota. Pričakovati je, da se bo z uvajanjem elektronskega poročanja v ankete podjetij, ki jih izvaja statistični urad, precej spremenil oz. moderniziral ter vsaj deloma avtomatiziral tudi pristop k urejanju podatkov, ki bo omogočal tudi več analitike na tem področju. Čeprav statistični urad ne uporablja 4 V žargonu jim na uradu pravijo »logične kontrole« ali na kratko »LK«. selektivnih metod urejanja, kot so opisane zgoraj, pa je temu pristopu idejno blizu sistem ključnih enot, za katere se izvaja bolj natančno preverjanje podatkov. 3. PREGLED AKTUALNIH KOGNITIVNO PSIHOLOŠKIH SPOZNANJ Z OCENO RELEVANTNOSTI ZA RAZISKOVALNI PROBLEM Pri pregledu aktualnih kognitivno psiholoških spoznanj za proces odgovarjanja in urejanja v anketah podjetij bomo izhajali iz naslednjih izhodišč: • Procesi odločanja - oblikovanja odgovora oziroma urejanja - se odvijajo v kratkoročnem oziroma delovnem spominu. Informacije, ki jih v procesu odločanja uporabimo, prikličemo iz dolgoročnega spomina. • Na proces shranjevanja in priklica novih informacij ter posledično uporabnost znanja pomembno vpliva reprezentacija in organizacija informacij. • V anketah podjetij tako respondenti kot urejevalci predstavljajo strokovnjake s svojega področja, ki pri svojem delu uporabljajo specifično strokovno znanje. Pogled bomo pričeli z razčlenitvijo spominskih funkcij in predstavitvijo delovanja dolgoročnega in kratkoročnega (delovnega) spomina. Informacije, ki jih shranjujemo v spominu, predstavljajo naše znanje, zato bomo v nadaljevanju analizirali koncept znanja ter predstavili najbolj uveljavljene pristope k preučevanju organizacije znanja. V zaključku se bomo osredotočili na strokovnjake, pogledali bomo relevantne ugotovitve raziskav, ki so preučevale spomin, in organizacijo znanja pri strokovnjakih. 3.1 Spomin Določene informacije lahko v možganih ohranimo precej časa, medtem ko lahko druge zadržimo le kratek čas. Na podlagi te lastnosti spomina so psihologi uvedli razlikovanje med dvema spominskima sestavoma: dolgoročnim in kratkoročnim spominom (Reed Hunt in Henry, 2004). Informacije, ki so v spominu shranjene, lahko tudi prikličemo. Proces razložimo s konceptom delovnega spomina (Anderson, 2002), ki ga v literaturi ponekod smatrajo kot posebno območje procesiranja informacij v možganih, drugje pa ga uporabljajo kot sopomenko kratkoročnemu spominu. Delovni spomin vključuje informacije, ki so trenutno na voljo v sistemu za procesiranje. V procesu priklica posameznik prepozna(va) predhodno shranjene epizodične in semantične informacije, ki jih sicer hrani dolgoročni spomin. Enega novejših pristopov k preučevanju spominskega prepoznavanja predstavljajo modeli dvojnega procesiranja. Ti modeli predpostavljajo, da prepoznavanje dražljaja usmerjata dva ločena procesa, ki se odvijata na dveh nivojih - zavestni proces spominjanja podrobnosti dražljaja in nezavedni proces, ki se nanaša na vedenje, da nam je dražljaj že znan. Teorijo med drugim potrjuje tudi laboratorijska raziskava, ki sta jo izvedla Rugg in Curran (2007). Rezultati raziskave kažejo, da lahko procesoma pripišemo različne nevrološke korelate na nivoju možganskih aktivnosti. Malmberg (2008) ponudi pregled raziskovalnih pristopov in različnih modelov, ki preučujejo proces prepoznavanja. Avtor kritično ovrednoti teorijo dvojnega procesiranja. Nov teoretični okvir, ki ga predlaga in empirično podpre, sloni na konceptu učinkovitosti, ki izhaja iz modela učinkovitega priklica iz spomina - REM model (pregled razvoja modela REM v Steyvers, Griffiths in Dennis, 2006). Koncept učinkovitosti predpostavlja, da v procesu prepoznavanja posameznik uporabi tiste strategije, za katere je prepričan, da bodo omogočile želeno točnost priklica v najkrajšem možnem času, pri čemer igrajo pomembno vlogo ocene verjetnosti. 3.1.1 Dolgoročni spomin Na nivoju delovanja dolgoročnega spomina razlikujemo implicitni (nedeklarativni) spomin, ki ga opredeljuje rigidnost in nam omogoča podzavestni priklic spominov, ter eksplicitni (deklarativni) spomin, kije fleksibilen in sodeluje pri zavestnem priklicu informacij. Deklarativni spomin vsebuje tako osebne izkušnje (epizodični spomin) kot podatke oziroma koncepte (semantični spomin). Deklarativni spomin je zgrajen s pomočjo asociacij, posamezne komponente spomina (npr. besede, objekti) so med sabo povezane neposredno oziroma posredno preko različnih odnosov (npr. prostorskih, časovnih). Semantični spomin (Tulving, 1972) predstavlja enega ključnih elementov kognitivnega sistema. Vsebuje splošno znanje o svetu, povezave med besednimi pomeni in koncepti (lahko ga označimo kot nekakšen mentalni leksikon, ki je vključen v vse z jezikom povezane aktivnosti, in najverjetneje tudi v vse aktivnosti mišljenja, razmišljanja). Vse od modernih začetkov kognitivne znanosti v petdesetih letih prejšnjega stoletja so se pojavljale domneve, da lahko znanje predstavimo v simbolih in simboličnih strukturah, ki so procesirani s pomočjo različnih operacij (Nevvell in Simon, 1976, v Shultz, 2001). Individualni simboli se lahko nanašajo na objekte in dogodke v svetu, skupaj se združujejo v večje simbolične strukture. Nasprotje domnevam o simbolnih povezavah predstavlja konekcionistični pogled, kjer je dolgoročni spomin predstavljen kot »povezava uteži v mreži«, medtem ko delovni spomin predstavljajo »prehodni vzorci aktivacije« (Shultz, 2001). V literaturi se največkrat pojavljajo tri psiho-lingvistične teorije, ki razlagajo organizacijo podatkov v semantičnem spominu: hierarhični model (Collins in Quillian, 1969), model razpršene aktivacije (Collins in Loftus, 1975.) in model prototipov (Rosch, 1981.) 3.1.2 Delovni spomin Delovni spomin označuje sistem ali mehanizem, ki je v ozadju ohranjanja ustreznih informacij med izvajanjem kompleksnih kognitivnih nalog, kot na primer razumevanje jezika, branje, vidne predstave, reševanje problemov (Baddeley in Hitch, 1974; Shah in Miyake, 1999). V literaturi se poleg koncepta delovnega spomina pojavlja tudi kratkoročni spomin, med avtorji pa ni enoznačnega strinjanja glede uporabe obeh izrazov: ponekod ju zasledimo kot sinonima, drugje avtorji med njima potegnejo bolj ali manj jasne ločnice. Največkrat se kratkoročni spomin pojavlja v kontekstu hranjena in obnavljanja informacij, medtem ko se delovni spomin v večji meri nanaša na izvajanje bolj kompleksnih (strokovnih) nalog (Engle, Tuholski, Laughlin in Conway, 1999). Najbolj uveljavljen model delovnega spomina sta predstavila Baddeley in Hitch (1974; Baddeley, 1996). Model vključuje štiri komponente: • artikulacijsko zanko, ki shranjuje informacije v govorni obliki; • fonološka shramba, ki predstavlja nekakšen trak, na katerega se zapisujejo informacije; • artikulacijski kontrolni sistem, ki poskrbi za prekodiranje vizualnih informacij v fonemske; • centralni izvršitelj, ki prevzame koordinacijo nalog; ter • vidno prostorska beležka, kjer so združene vizualne in prostorske informacij (Logie, 1995). V delovnem spominu se tako odvija zgodnje vkodiranje materiala, oblikujejo se reprezentacije in potek miselnega procesa. Literatura veliko pozornosti posveča tudi preučevanju omejenih kapacitet delovnega spomina. Miller (1956) govori o »magičnem številu« 7 ± 2, ki predstavlja obseg naše sposobnosti procesiranja informacij. Novejša literatura vpeljuje koncept kognitivnih enot - kosov (angl. chunks). Delovni spomin naj bi obsegal štiri kognitivne enote (Cowan, 2001), oziroma v primeru specifičnega in zelo raznolikega znanja celo manj (Gobet & Clarkson, 2004). Tudi sistemi ponavljanja imajo omejeno kapaciteto. Tako predvidevajo, da je govorno ponavljanje v sklopu fonološke zanke omejeno s količino gradiva, ki jo lahko ponovimo v približno dveh sekundah (Baddeley, Thomson, & Buchanan, 1975). Tradicionalni modeli delovnega spomina ne zmorejo pojasniti, zakaj se zdi, da strokovnjaki s svojo izjemno predstavo v določenih kognitivnih nalogah presegajo omejeno kapaciteto delovnega spomina. Ericsson in Delaney (1999) opažata, da se raziskave delovnega spomina razlikujejo v kompleksnosti spretnosti in znanja, ki ga potrebujejo udeleženci pri izvajanju nalog. Avtorja ovrednotita tri skupine pristopov k preučevanju delovnega spomina. Pristop »osnovne kapacitete« uporablja naloge, ki v čim večji meri kontrolirajo učinek predhodnega znanja in izkušenj. Pristop »kompleksnih aktivnosti« uporablja vsakodnevne aktivnosti (npr. branje, računanje v mislih) in jih preučuje v laboratorijih (pri tem npr. uporablja paradigmo interference). Pristop »preučevanja strokovnjakov« pa je kot rezultat ponudil teorijo dolgoročnega delovnega spomina (Ericsson & Kintsch, 1995). Baddeley (2000) je ekspertni spomin vključil v nadgradnjo modela delovnega spomina. Opazil je, da obstoječi model ne more ustrezno pojasniti številnih pojavov, npr. priklica dolgih odlomkov proze, kjer obseg priklica pomembno presega kapaciteto fonološke zanke. Tako je bila dodana nova komponenta - epizodična shramba, ki lahko integrira fonološko in vizualno, verjetno pa tudi druge tipe informacij v epizode. Predlagan je bil tudi splošni mehanizem ponavljanja, npr. »razkosanje« v manjše podkomponente (Baddeley, 2000). Predvidoma se proces »razkosanja« {angl. chunking) odvija v delovnem spominu, osnovan pa je na znanju, ki ga shranjuje dolgoročni spomin. 3.2 Organizacija in reprezentacija znanja Informacije, ki jih hranimo v dolgoročnem spominu in jih v procesih miselne aktivnosti prikličemo v kratkoročni (delovni) spomin, predstavljajo naše znanje. Opišemo ga kot »dinamično organizacijo spomina«, ki se odvija v možganih kot notranji kognitivni proces, ki ga podpirata tehnologija in institucije (Lévy, 2004). Medtem ko se znanje kaže tako znotraj kot zunaj človeškega uma, je kognicija notranji mentalni proces. Definiramo jo lahko kot človeško sposobnost učenja, pomnjenja, odzivanja in komuniciranja. Predstavlja jo kontekstualizirana in večdimenzionalna mreža asociacij, spominov in idej, ki se spreminja skozi izkušnje. Znanje predstavlja kompleksen, celo dvoumen in kontroverzen koncept, preučevan v številnih disciplinah, med drugim v psihologiji, sociologiji, ekonomiji, filozofiji, lingvistiki, nevroznanosti in kognitivni znanosti (Kluge, 2001; Hildreth in Kimble, 2002; Al-Hawamdeh, 2003; Norris, 2003). Moderna teorija znanja skuša interpretirati naravo kognicije in njenih objektov ter oblikovati povezavo med znanjem in razumevanjem (Williams, 2001). Polanyi (1966) je prvi uvedel razlikovanje med tihimi (angl. tacit) in eksplicitnimi dimenzijami znanja. Tiho, implicitno znanje je nezavedno in neopredmeteno, medtem ko je eksplicitno znanje bolj natančno in kodificirano, pridobivamo ga zavestno in z vloženim trudom, lahko ga ubesedimo (Berry in Dienes, 1993; Al-Hawamdeh, 2003; Sallis and Jones, 2002), čeprav razlikovanje med njima v literaturi ni povsem enoznačno (Haldin-Herrgard, 2000; Szulanski, 2003; Tsoukas, 2002; Vesiluoma, 2005) predvsem pa je implicitnemu znanju posvečena veliko manjša pozornost v primerjavi z eksplicitnim znanjem. Strokovnost vključuje tako eksplicitno, konceptualno znanje, kot implicitno, izkustveno znanje. Raziskave so pokazale, da se lahko strokovnjaki uspešno naučijo kontrolirati določen sistem, a bodo imeli težave z ubsedenjem svojega znanja. (Berry in Broadbent, 1988; Mathews, Buss, Stanley, Blanchard-Fields, Cho in Druhan, 1989). Značilnost implicitnega znanja je njegova »transferna specifičnost« (Berry in Dienes, 1993). Znanje, ki ga pridobimo z implicitnim učenjem, je verjetno manj fleksibilno in bolj vezano na kontekst v primerjavi z eksplicitnim. Prav tako je veliko težji prosti priklic takega znanja oziroma njegova verbalizacija. Znanje, pridobljeno na ekspliciten način, vsebuje mentalne modele in deklarativno znanje, kot na primer splošna pravila, in ne toliko spomine na pretekle izkušnje oziroma specifične odzive na neko nalogo (kot v primeru implicitnega znanja) (Reber, 1989). Raziskave kažejo, da imajo strokovnjaki težave z vključevanjem novih miselnih modelov v znanje o posameznih primerih (eksplicitno znanje), saj naj bi se strokovnjaki večinoma zanašali na posamezne primere (implicitno znanje) (Berry in Broadbent, 1988; Berry in Dienes, 1993; Mathews, 1989). Ta proces lahko strokovnjaki izboljšajo z nenehno vajo (Ericson, Krampe in Tesch-Romer, 1993). Pridobivanje znanja je proces absorbiranja in shranjevanja novih informacij v spomin. Uspešnost procesa pogosto določa, kako bodo informacije kasneje zapomnjene ali priklicane iz spomina. Proces shranjevanja in priklica novih informacij je močno odvisen od reprezentacije in organizacije informacij. Strukturiranje informacije pogosto vpliva na uporabnost znanja. V literaturi najdemo številne teorije, ki razlagajo, kako je znanje predstavljeno in organizirano v možganih (Anderson in Lebiere, 1998; Rumelhart in McClelland, 1986; Kintsch, 1998). Razlage so osnovane na konceptu semantičnih mrež (Raaijmakers in Shiffrin, 2002). Semantična mreža označuje način predstavitve znanja kot sistema povezav med koncepti in spominom. Modeli semantičnih mrež predpostavljajo, da je znanje organizirano na pomenu - na način povezovanja semantično (pomensko) povezanih konceptov. Mreže znanja so predstavljene kot diagrami vozlišč (koncepti) in povezav (razmerja, odnosi), vozlišča in povezave so »utežene« - kar predstavlja njihovo moč v spominu. Miselna aktivacija se avtomatično razširja med koncepti, ki so nato priklicani iz spomina. Kognitivni znanstveniki so razvili tehnike, s katerimi skušajo predstaviti semantične mreže (Jonassen, 1993; Sowa 2000), med drugim hierarhične vsebinske strukture (npr. drevesa), mape konceptov in semantične mape. Nosilce informacij, ki so shranjene v dolgoročnem spominu (v obliki semantičnih mrež) in v določeni obliki priklicane v zavest (kratkoročni oziroma delovni spomin), imenujemo mentalne predstave (reprezentacije). Podrobneje jih predstavljamo v naslednji točki. 3.2.1 Miselne predstave Narava miselnih predstav velja za eno od osrednjih tem kognitivno psihološkega raziskovanja v zadnjih desetletjih (Pylyshyn, 2002). Ena od pomembnih razprav se nanaša na vprašanje, ali se miselne podobe {angl. imagery) bistveno razlikujejo od miselnih predstav (angl. representations) (Kosslyn, 1994). Miselne podobe so definirane kot niz predstav, ki nam omogoča izkušnjo videnja dražljaja v odsotnosti dejanskega senzornega draženja (Kosslyn, 1994). Miselne podobe so preučevali tudi na primerih drugih senzornih modalnostih, npr. na avditorni (Reisberg, Wilson in Smith, 1991; Zatorre, Halpern, Perry, Meyer in Evans, 1996) in olfaktorni (Bensafi, 2003), vendar zanju še ni izdelanih teorij. V literaturi lahko zasledimo precej dokazov za podobnost med podobami in zaznavnimi procesi (Finke, 1985). Funkcionalne teorije vidijo miselne podobe kot nekakšen vmesnik, ki simulira zaznavne značilnosti zunanjega sveta. Strukturne teorije poudarjajo strukturno podobnost med zaznavo realnih objektov in reprezentacijo objektov, ki si jih predstavljamo. Interaktivni modeli pa trdijo, da miselno podobo moderirajo kognitivni in nevronski mehanizmi, vključeni v zaznavanje. Raziskovalci pogosto preučujejo miselne podobe v vlogi mnemotehnik (Paivio, 1971, 1986, 1991; Richardson, 1980). Miselne podobe namreč izboljšajo priklic konkretnih besed, medtem kov primeru abstraktnih besed tega učinka ne opazimo (Paivio, 1986). Teorija dvojnega kodiranja pojav razlaga s predpostavko o dveh spominskih kodah - spominski priklic je boljši v primerih, ko lahko uporabimo tako "logogene" verbalnega sistema kot "imagene" neverbalnega sistema (Paivio, 1986). Multimodalna teorija spomina (Engeikamp & Zimmer, 1994) predpostavko nadgradi in predvideva, da so mehanizmi, ki so v ozadju učinkovitih mnemotehnik, osnovani na spremembi v senzorno-motorni modalnosti, ki nujno vodi do aktivacije konceptualnega spominskega sistema. To pa predstavlja podlago za boljši spominski priklic v primerih, ko so reprezentacije v verbalnem senzo-motornem sistemu preoblikovane v reprezentacije v neverbalnem senzo-motornem sistemu v povezavi s konstrukcijo miselne podobe. Z vidika raziskovanja delovnega spomina so miselne podobe zaznavi podobne reprezentacije, ki so obnavljane in preoblikovane v modalno specifičnem delovnem spominu (Baddeley & Logie, 1992; Logie, 1995). Večina teorij vizualnih miselnih podob opredeljuje, kako so miselne podobe oblikovane, vzdrževane in preoblikovane. Ti procesi potekajo v vizualni shrambi (Kosslyn, 1994), ki v grobem ustreza vidno-prostorski skicirki delovnega spomina (Kosslyn, 1994; Logie, 1995). Več posamičnih miselnih podob je v večini situacij potrebno združiti v celovito podobo (Kosslyn, 1994) bodisi s pomočjo kategoričnih prostorskih predstav oziroma koordinat prostorskih odnosov bodisi z uporabo podsistema za aktiviranje vzorcev (v vizualnem spominu) oziroma z usmerjanjem pozornosti na različne lokacije v vizualni shrambi. Kosslyn (1994) je postavil tezo, da miselno predstavljene objekte interpretiramo na podoben način kot zaznane objekte: na podlagi aktivacije vizualne shrambe se osnuje podoba, ki jo procesiramo na podoben način kot informacijo, ki jo dobimo iz vidnega zaznavnega aparata. Vendar študije, v katerih udeleženci interpretirajo dvoumne slike, postavljene domneve ne potrjujejo povsem (Pylyshyn, 2002). 3.2.2 Spomin, miselne predstave in organizacija znanja pri strokovnjakih Ko strokovnjaki oblikujejo miselne predstave se ne zanašajo samo na zaznavne lastnosti, temveč uporabljajo tudi specifično znanje in spretnosti v dolgoročnem spominu. Delovni spomin ima omejeno kapaciteto, ki pa jo strokovnjaki lahko presežejo, čeprav mehanizmi, ki so podlaga temu procesu, še niso povsem znani, teoretične razlage le-teh pa so si mestoma celo nasprotujoče: po eni izmed razlag so ti procesi osnovani na zaznavah, medtem ko druga razlaga predpostavlja konceptualno znanje višje ravni, ki je v ozadju procesa »širjenja delovnega spomina«. Prav tako še ni znano, ali je pojav miselnih predstav strokovnjakov specifičen za področja, ki so jih do zdaj preučevali (največ raziskav je preučevalo šahiste), ali lahko govorimo o splošnem pojavu. Raziskovalci so preučevali izjemnost kognitivnih nalog pri uporabi specifičnega strokovnega znanja na številnih področjih: pri šahistih, športnikih, glasbenikih, arhitektih, inženirjih in fizikih (Ericsson, Patel in Kintsch, 2000; Billman in Shaman, 1990; Allard & Starkes, 1991; Salthouse, Babcock, Skovronek, Mitchell in Palmon, 1990; Bali, Evans, Dennis in Ormerod, 1997). Izjemnost lahko opažamo na številnih ravneh kognicije, na primer pri vkodiranju in kategorizaciji materiala, neposrednem priklicu ter organizaciji znanja v dolgoročnem spominu (Gobet, 1998). Strokovnjaki so v primerjavi z novinci boljši pri nalogah, ki zahtevajo specifično znanje oziroma strokovnost, medtem ko se na testih inteligentnosti in obsega delovnega spomina ne razlikujejo (Charness, 1988). Ta pojav v literaturi imenujejo tudi domenska specifičnost (angl, domain specificity). Strokovnjaki so nekoliko boljši od novincev tudi pri naključnem gradivu (Gobet in Simon, 2000; Gobet in Waters, 2003). Zaznavne in spominske prednosti strokovnjakov lahko po mnenju avtorjev pripišemo predvsem izkušnjam in učenju (Reingold, Charness, Pomplun in Stampe, 2001). Postavlja se vprašanje, kako lahko spomin in podobe pri strokovnjakih presežejo omejitve kapacitet kratkoročnega spomina in počasnost procesa shranjevanja informacij v dolgoročni spomin (Richman, Staszewski in Simon, 1995). Po splošni razlagi lahko omejitve kratkoročnega in delovnega spomina presežemo z učinkovito uporabo znanja in spretnosti iz dolgoročnega spomina (Chase in Ericsson, 1982; Ericsson in Kintsch, 1995). Sodelovanje kratkoročnega in dolgoročnega spomina naj bi bilo osnovano na procesu »razkosanja« oziroma na uporabi konceptualnega znanja. Teorija »razkosanja« izvira iz preučevanja šahistov - z računalniškim modeliranjem so ocenili, da šahovski mojstri v dolgoročnem spominu oblikujejo med 10.000 in 100.000 različnih konfiguracij (Chase in Simon, 1973; Simon in Gilmartin, 1973). Te naučene kognitivne enote - kosi {angl. chunks) so definirane kot zbirke elementov, ki imajo močne medsebojne povezave in šibke povezave z elementi v drugih kognitivnih enotah (Gobet, 2001). Strokovnjaki naj bi uporabljali že naučene vzorce vkodiranja informacij v kognitivno enoto (ki združuje več elementov) v kratkoročnem spominu. IMa ta način presežejo omejitve kapacitete kratkoročnega spomina (Ericsson & Kintsch, 1995). Strokovnjaki tako kažejo izjemnost pri različnih procesih kratkoročnega spomina: vkodiranju, klasifikaciji, takojšnjem spominu in reševanju problemov. Teorija dolgoročnega delovnega spomina skuša opredeliti splošne kognitivne mehanizme ekspertnega spomina (Ericsson & Kintsch, 2000). Teorija se predvsem osredotoča na raven, kjer se srečata delovni in dolgoročni spomin. Dolgoročni delovni spomin predstavlja vmesni spominski sistem, ki omogoča priklic precejšnje količine informacij iz dolgoročnega spomina s hitrostjo, ki je podobna kratkoročnemu delovnemu spominu (Chase in Ericsson, 1982; Ericsson in Kintsch, 1995). Strokovnjaki lahko informacije hitro shranijo v strukturo oziroma shemo priklica, ki označuje stabilno strukturo znanja dolgoročnega spomina, kjer so vkodirane informacije asociirane z namigi za priklic. Prav ta struktura priklica naj bi omogočala, da spominska sled v dolgoročnem delovnem spominu preseže trajanje kratkoročnega spomina. V literaturi najdemo opis dveh študij primerov posameznikov, poimenovanih s kraticama SF oziroma DD (Chase in Ericsson, 1981; Richman, Staszewski in Simon, 1995), ki sta lahko priklicala sezname z več kot sto številkami, pri čemer sta poročala o uporabi posebnih drevesnih hierarhičnih struktur priklica. Najprej sta vkodirala številke v skupinah po tri ali štiri, nato sta skupine postopoma združevala v vedno večje, obsežnejše skupine. Avtorji domnevajo, da lahko podobno strategijo priklica opazimo tudi pri strokovnjakih. Omenjeni pristopi (»razkosanje«, sodelovanje med dolgoročnim in kratkoročnim spominom) so v literaturi doživeli tudi precej kritik - predvsem zaradi nezmožnosti učinkovite razlage na področjih, kjer spominski priklic ni osrednjega pomena za strokovnost. Hipoteza omejene uglašenosti tako pravi, da je namesto opisovanja psiholoških mehanizmov potrebno preučiti okolje, področje strokovnosti (Vicente, 2000; Vicente in Wang, 1998). Prav tako se zdi, da so v ozadju ekspertnega spomina verjetno višje ravni znanja (kot zgolj zaznavni »kosi«). Tako so v raziskavi šahovski mojstri hitreje priklicali šahovsko pozicijo, če so predhodno dobili njen opis (Cooke, Atlas, Lane in Berger, 1993). Kljub nekaterim raziskavam, ki jih zasledimo pri pregledu literature, ostaja področje spomina, spretnosti in znanja strokovnjakov še razmeroma neraziskano in v veliki meri sloni na domnevah. Še vedno ne vemo, če lahko ugotovitve raziskav, izvedenih na zelo specifičnih vzorcih strokovnjakov (npr. šahisti) sploh lahko posplošujemo na ostale strokovnjake. V literaturi tudi ne najdemo konsistentnega odgovora na vprašanje, kako strokovnjaki oblikujejo miselne predstave. Naloge, ki jih strokovnjaki opravljajo, zahtevajo kapacitete, ki presegajo omejitve delovnega spomina. Zdi se, da v tem procesu igrajo pomembno vlogo asociacije in koncepti. 3.3 Ocena relevantnosti kognitivno psiholoških spoznanj za proces odgovarjanja in urejanja v anketah podjetij V pričujočem projektu je v osredju našega zanimanja povezava med procesom odgovarjanja v podjetjih in procesom urejanja podatkov v statističnem uradu. Gledano s kognitivne perspektive imata ta dva procesa ključno skupno točko v tem, da oba slonita na strokovnjakih. Od oseb, ki sodelujejo v teh dveh procesih, se namreč pričakuje vsaj nekaj strokovnega znanja; kar jih tudi ključno loči od oseb, ki kot respondenti nastopajo v anketah gospodinjstev in posameznikov. Da bi bolje razumeli teoretične kognitivne osnove procesa odgovarjanja, smo pregledali aktualna kognitivno psihološka spoznanja, ki bi lahko bila relevantna za boljše razumevanje procesa odgovarjanja, to je spoznanja s področja spomina, spretnosti in znanja strokovnjakov. Proces odgovarjanja oziroma poročanja podatkov sestavljajo številne kompleksne kognitivne naloge, ki vključujejo različne vrste specializiranega, strokovnega znanja. Respondent mora razumeti vsebino postavljenega vprašanja in prepoznati informacije, ki jih mora posredovati. Pri razumevanju vprašanja je ključnega pomena, da se respondentova razlaga vprašanja (oz. postavk ali kar celotnega vprašalnika) sklada z načinom, na katerega si vprašanje razlaga SURS, ki mu je potrebno zahtevane podatek poročati. Ta vidik zahteva poznavanje problema oziroma vsebinskega področja, na katerega vprašalnik posega. V raziskavi izhajamo iz predpostavke, da so respondenti, ki imajo izkušnje z izpolnjevanjem vprašalnika investicij, že uspešno vkodirali v spomin osnovno klasifikacijo investicij, osnovano na podlagi vprašalnika, obenem pa imajo dovolj znanja oziroma poznavanja ustreznih virov informacij znotraj enote, kjer lahko najdejo zahtevane informacije (npr. informacijski sistem, poročila, sodelavci), hkrati pa so dovolj usposobljeni, da lahko podatke v ustrezni obliki poročajo. V študiji bomo poskusili dobiti vpogled v proces odgovarjanja respondentov z vidika kognitivnih elementov, ki jih vključuje (spomin, znanje, procesiranje informacij, strokovnost), in načina, na katerega se odraža v poročanih podatkih ter posledično aktivnostih urejanja podatkov. Na podlagi analize pridobljenih informacij želimo predlagati izboljšave za obe fazi statistične produkcije. 4. EMPIRIČNI DEL RAZISKAVE 4.1 Predstavitev izbrane ankete podjetij V empirični del raziskave je bila po dogovoru s SURS vključena anketa Letno poročilo o investicijah v osnovna sredstva (INV-1), s katero SURS zbira podatke o dejanskih bruto investicijah v osnovna sredstva in njihovih virih pri neposrednih investitorjih, to je družbah, podjetjih in organizacijah. Raziskovanje INV-l se izvaja na SURS že več kot štirideset let (Benedik in Nikič, 2007). Ocena bruto investicij se uporablja v nacionalnih računih za izračun bruto domačega proizvoda po izdatkovni metodi, podatki pa se uporabljajo tudi za spremljanje investicijske dejavnosti v strukturni statistiki podjetij. Anketa kot enote opazovanja vključuje družbe, podjetja in organizacije, ki so registrirane za opravljanje dejavnosti na ozemlju RS in imajo 20 in več zaposlenih5. V letu 2009 je bilo tako vanjo vključenih 5.312 enot, stopnja odgovora je bila 92,6%, delež urejanja pa okoli 80%, kar ni presenetljivo, saj je vprašalnik tudi vsebinsko precej zahteven (Benedik in Garvas, 2011). Podatki se zbirajo z vprašalnikom, ki obsega 8 strani, od česar je polovica strani namenjena uvodnemu nagovoru in navodilom za izpolnjevanju, polovica pa tabelam, v katere se vpisujejo podatki. Najobsežnejša je Tabela 1: Tehnična struktura investicij v nova in rabljena lastna in najemna osnovna sredstva (finančni lizing), to je v opredmetena in neopredmetena osnovna sredstva, in dezinvesticije oz. prodaja osnovnih sredstev. Poročevalske enote morajo ločeno prikazati investicije v nova osnovna sredstva, investicije v rabljena osnovna sredstva in dezinvesticije (trije stolpci), vsako od teh vrednosti pa razčleniti po vrstah. Stopnja razčlenjenosti je odvisna od vrste (dez)investicije; čeprav so opredmetena in neopredmetena osnovna sredstva razčlenjena na štiri vrste, pa so pri opredmetenih osnovnih sredstvih nekatere vrste še dalje razčlenjene (največ stroji in oprema na devet podvrst). Ostale tabele so namenjene zbiranju podatkov o finančni plati investicij (viri financiranja, neplačane in plačane investicije, podrobnosti finančnega lizinga), o transakcijah z zemljišči ter razčlenitvi investicij v nova osnovna sredstva po geografskem načelu in dejavnosti. Zbiranje podatkov seveda povzroča stroške in obremenitve tako SURS kot poročevalskim enotam (Tabela 3). Če ocenjujemo, da so materialni stroški poročevalskih enot precej manjši (recimo, da je to okoli 0,30 EUR za kuverto in poštnino za cca 5.000 enot, ki so poslale odgovor, torej skupaj 1.500 EUR) in uporabimo enak pavšal za delovno uro, potem stroški za poročevalske enote znašajo okoli 50.000 EUR. Groba ocena torej je, da nas posamezen vprašalnik stane nekaj manj kot 20 EUR. Tabela 3: Stroški in obremenitve za leto 2009 St. poročevalskih enot Materialni stroški (EUR) Poraba časa (ure) Stroški skupaj (EUR) SURS - 2.425 4.000 46.425 Poročevalske enote 5.312 4.409 Opombe: Pri izračunu stroškov SURS pri preračunu delovnih ur v denarni znesek je upoštevana pavšalna vrednost 11 EUR na delovno uro. Obremenitev poročevalskih enot je odvisna predvsem od njene velikosti in razvejanosti investicij, tako da se porabljen čas za izpolnitev vprašalnika giblje od pol ure do več ur; v povprečju pa se ocenjuje, da poročevalske enote porabijo okoli 50 minut (0,83h). Vir: Benedik in Garvas, 2011. 5 Podatke o obsegu in strukturi investicijskih vlaganj pri malih pravnih osebah, samostojnih podjetnikih in drugih fizičnih osebah SURS zbira s krajšo verzijo vprašalnika, imenovanega Letno poročilo o investicijah v osnovna sredstva (INV-2). Po dogovoru s SURS smo pod drobnogled vzeli le Tabelo 1, saj je najobsežnejša (obsega dve A4 strani in 3x33=99 polj za izpolnjevanje) in najpomembnejša (prinaša ključno statistiko za vrednost bruto investicij), študij celotnega vprašalnika pa bi predstavljal preveliko obremenitev za poročevalske enote in za SURS. 4.2 Metodologija Študij procesa odgovarjanja v anketah podjetij se tipično izvaja s pomočjo kvalitativnega raziskovanja; najbolj poglobljeni vpogled v proces dobimo s kvalitativnimi raziskovalnimi intervjuji z respondenti, ki jih kombiniramo z drugimi pristopi, na primer z intervjuji s strokovnjaki (Bavdaž, 2009). Tak pristop smo uporabili tudi za vpogled v proces odgovarjanja v izbrani anketi. Po drugi strani pa je za študij urejanja podatkov smiselno poseči tudi po razpoložljivih kvantitativnih podatkih. Vsi uporabljeni pristop so opisani v nadaljevanju. 4.2.1 Osebni intervjuji s strokovnjaki Na SURS smo izvedli štiri globinske intervjuje z njihovimi strokovnjaki: vodjo analize in kontrole vhodnih baz podatkov v Sektorju za zbiranje in obdelavo statističnih podatkov ter vzdrževanju produkcijskih baz; in tremi osebami, ki na vsebinskem oddelku skrbijo za izbrano raziskavo. Na ta način smo želeli pridobiti podrobnejši vpogled v vsebino izbrane ankete in se seznaniti tako s problematiko izpolnjevanja vprašalnika na strani respondentov v podjetjih, ki jih zaznavajo na SURS, kot z izzivi urejanja pridobljenih podatkov. V več fazah raziskave smo se za mnenja in pojasnila s področja računovodstva in ekonomske statistike obračali tudi na akademske strokovnjake z Ekonomske fakultete v Ljubljani, raziskovalni problem pa smo prediskutirali tudi z mednarodnimi strokovnjaki s področja anketne metodologije. 4.2.2 Osebni in telefonski intervjuji s podjetji Zbrane informacije strokovnjakov o urejanju podatkov smo dopolnili tudi s pogledom podjetij na proces izpolnjevanje uradnih anket. Z respondenti, ki izpolnjujejo izbrani vprašalnik, smo izvedli 3 osebne globinske intervjuje in 32 delno strukturiranih telefonskih intervjujev. Obakrat smo uporabili priložnostni vzorec (zaradi zajetja s pragom in pokrivanja skoraj vseh dejavnosti je namreč identifikacija poročevalskih enot relativno enostavna; res pa ni vedno enostavna identifikacija respondentov znotraj teh enot). Osebni intervjuji so služili začetnemu spoznavanju procesa odgovarjanja v letu 2011, medtem ko so bili telefonski intervjuji, ki smo jih izvajali v 2012, že usmerjeni v iskanje bolj specifičnih informacij. V telefonskem intervjuju smo namreč udeležencem postavili nekaj vprašanj, ki so se nanašala na tiste vidike izpolnjevanja vprašalnika, ki so jih strokovnjaki za vsebinske vidike ankete na SURS oziroma strokovnjaki na Ekonomski fakulteti v predhodnih intervjujih in konzultacijah identificiral kot problematične. Intervjuje s predstavniki podjetij smo obakrat izvajali približno v času izpolnjevanja vprašalnikov (od enega meseca pred rokom do enega tedna po roku oddaje vprašalnika). Med udeleženci telefonskih intervjujev jih je 18 od 32 v času pogovora že izpolnilo in oddalo vprašalnik. Sodelovanja v intervjuju ni zavrnil nihče, vendar smo bili neuspešni pri kontaktiranju skoraj dveh tretjin respondentov. 4.2.3 Testiranje potencialnih in aktualnih respondentov Na podlagi informacij, pridobljenih v pogovorih s strokovnjaki SURS, predstavniki podjetij, mednarodnimi strokovnjaki s področja anketne metodologije in akademskimi strokovnjaki z Ekonomske fakultete, smo oblikovali raziskovalni načrt, ki smo ga aplicirali v zaključni fazi projekta. Opravili smo testiranje in intervjuje s 15 udeleženci. Med njimi je bilo 5 oseb, ki bi jih lahko označili kot popolne novince pri izpolnjevanju vprašalnika, saj so to bili bodisi podiplomski študenti ekonomije bodisi osebe na začetku delovne dobe, ki so pred kratkim zaključile študij ekonomije. Izvedba je potekala na Ekonomski fakulteti v Ljubljani. Ostalih 10 oseb so predstavljali aktualni respondenti v izbrani anketi o investicijah. Izvedba je potekala na sedežu poročevalske enote. Osebe iz prve skupine so med študijem pridobile temeljna znanja ekonomije in računovodstva, predvidevali pa smo, da nimajo praktičnih izkušenj z izpolnjevanjem vprašalnikov uradne statistike. Nasprotno pa so bili v drugi skupini izkušeni respondenti vprašalnika INV-1, ki že dalj časa sodelujejo s SURS. V končni fazi so bili v raziskavo vključeni le respondenti, ki poročajo za enote s sedežem v Ljubljani. K sodelovanju smo sicer najprej pisno povabili 150 oseb, ki so bile kot kontaktne osebe navedene na oddanih vprašalnikih in jih je SURS vključil v za to raziskavo pripravljen vzorec 150 enot. V nasprotju s telefonskimi intervjuji je bila tu odzivnost precej slabša. Vse enote smo poklicali tudi po telefonu, vendar veliko oseb ni bilo dosegljivih, zato je bilo potrebno večkratno klicanje. Zaradi stroškov smo se potem odločili vztrajati le pri enotah, ki od Ljubljane niso preveč oddaljene. Respondenti, ki smo jih uspeli doklicati, a so odklonili sodelovanje, so med razlogi za odklonitev navajali predvsem pomanjkanje časa, saj bi jim sodelovanje vzelo približno eno uro. Od 10 v našo raziskavo vključenih respondentov je bilo 7 zaposlenih v podjetju, za katerega so poročali podatke v vprašalniku, en respondent je bil pogodbeni sodelavec, dva pa zaposlena na računovodskem servisu. S testiranjem in naknadnim intervjujem smo želeli poglobiti razumevanje procesa odgovarjanja pri respondentih. Pri tem smo se predvsem osredotočili na razumevanje koncepta investicij, ustrezno prepoznavanje investicij in njihovo razvrščanje, s čimer smo se dotaknili vsebinskih vidikov izpolnjevanja vprašalnika. Udeležence smo v prvem sklopu zaprosili, da odgovorijo na šest nalog, ki so zahtevale odločitev, ali lahko pri posameznih primerih govorimo o investiciji v osnovna sredstva ali ne. Drugi sklop se je nanašal na razvrščanje različnih primerov investicij v ustrezne kategorije, pri čemer so udeleženci v prvem koraku primere investicij prosto razvrščali in povezovali v med sabo, v drugem koraku pa so jih razporedili v že dane kategorije, oblikovane na podlagi kategorij iz vprašalnika INV-1. Prvi sklop nalog je bil računalniško voden, v drugem sklopu pa so udeleženci razvrščali primere, natisnjene na kartončkih. Po vsakem zaključenem sklopu je sledil še intervju z respondentom o strategijah odgovarjanja oziroma reševanja nalog ter mnenjih in vtisih. 4.2.4 Podatki o urejanju Letno poročilo o investicijah v osnovna sredstva (INV-1) se izvaja kot poštna anketa, zato je proces urejanja podatkov tesno povezan z njihovim vnosom. V preteklosti je bil ta proces enak tipičnemu postopku urejanja podatkov v ostalih anketah podjetij na SURS (Tabela 2), le da je vnos deloma potekal na vsebinskem oddelku. Tak proces ni omogočal zastavljene analize urejanja. V letu 2012 je zato SURS v postopek vnosa in urejanja podatkov vnesel nekaj sprememb. V primerjavi s preteklimi leti tako ni bila prisotne ročne kontrole vprašalnikov ob prejetju, temveč so bili vsi vprašalniki najprej skenirani. Tako so bili nepopravljeni, originalno poročani podatki preneseni v računalniški program Blaise). Program je v skladu z vzpostavljenim sistemom kontrol, že takoj med samim vnosom opozoril na morebitne napake pri poročanih vrednostih, ki jih je nato urejevalec podatkov ustrezno popravil. V primeru izbranega vprašalnika so kontrolo predvsem logične in se nanašajo predvsem na ujemanje vsot v tabelah vprašalnika. Po zaključku zbiranja podatkov so vrednosti investicij pri posameznih enotah primerjali z drugimi viri (npr. D D V, četrtletno statistično raziskovanje o poslovanju poslovnih subjektov POSL-P/ČL, letna poročila). V primeru opaznega in nepojasnjenega odstopanja med podatki so te enote kontaktirali. Tako je bilo kontaktiranih 53 respondentov. Po potrebi so ustrezno popravili oziroma dopolnili zbrane podatke. Ker je bilo za sledljivost vsem posegom v posamezen vprašalnik in vsem kontaktom s poročevalskimi enotami vseeno potrebno dodatno ročno beleženje, je SURS iz vzorčnega okvira za INV-1 pripravil vzorec 1.675 enot. Značilnosti tega vzorca prikazuje Tabela 4. Tabela 4: Značilnosti vzorca za analizo urejanja Delež ključnih enot 35,3 % (591 od skupno 1.675 enot) Struktura enot po velikosti* Majhne 53,1% (880 enot) Srednje 40,3% (668 enot) Velike 6,6% (110 enot) Struktura enot po dejavnosti Osnovne dejavnosti (A-F) 35% (586 enot) Storitvene dejavnosti (G-S) 65% (1089 enot) * Struktura je izračunana na osnovi 1658 enot, za katere smo dobili podatke. Med vzorčenimi enotami je bilo 591 enot (35,3 %) opredeljenih kot ključnih, ki zaradi pomena in vpliva na končno oceno dobijo posebno pozornost v procesu urejanja.Za 1658 spremljanih enot smo pridobili podatke o velikosti podjetja. Zaradi velike razlike med najmanjšim (20) in največjim (10551) številom zaposlenih ter posledično neustrezne informativne vrednosti smo enote razdelili v tri skupine: majhna podjetja (do 50 zaposlenih), srednje velika podjetja (do 250 zaposlenih) in velika podjetja (nad 250 zaposlenih). Naš vzorec je tako vključeval 880 oziroma 53,1 % majhnih (M=30, SD=9), 668 oziroma 40,3 % srednje velikih (M=100; SD=46) in 110 oziroma 6,6 % velikih podjetij (M=905, SD=1555). V naš vzorec je vključenih 586 enot iz osnovnih dejavnosti oz. 35 % vseh enot ter 1.089 enot iz storitvenih dejavnosti. Na ravni oddelkov ima največji delež spremljanih enot (16,1 %) dejavnost izobraževanja (oddelek P85), med pogosteje zastopanimi pa so s 6,4 % Posredništvo in trgovina na debelo, razen z motornimi vozili (oddelek G46), s 5,4% dejavnosti javne uprave in obrambe, dejavnosti obvezne socialne varnosti (oddelek 084) in s 5,1 % Proizvodnja kovinskih izdelkov, razen strojev in naprav (oddelek C25). Dodatno smo o enotah iz vzorca dobili tudi podatek o prispelosti vprašalnikov (to je datum prispeiosti), vendar pa je bil ta podatek na voljo le za 1.482 oz. 88,5% od 1675 opazovanih enot, kolikor jih je do 31.8.2012 posredovalo svoje odgovore uradu, zato smo podrobneje analizirali samo te enote. Struktura teh analiziranih enot po velikosti ne odstopa bistveno od strukture vseh 1.675 enot, saj je med njimi 51% majhnih, 42% srednjih in 7% velikih enot. Podobno velja za strukturo po dejavnosti. Med analiziranimi enotami je bilo 558 enot ključnih (37,6% od 1.482 analiziranih enot oziroma 94,4% od 591 vzorčenih ključnih enot). Ključne enote so pričakovano večje, zaposlujejo v povprečju 255 oseb (SD=758, N=558), medtem ko so ostale enote izrazito manjše glede na številu zaposlenih, v povprečju je tam zaposlenih 42 oseb (SD=99; N=915). Struktura analiziranih ključnih enot po velikosti je naslednja: majhne (19,5%), srednje (61, 8%) in velike (18,6%), pri čemer so vsa velika podjetja vključena med ključne enote. Med ostalimi enotami prevladujejo majhna podjetja (70,2%) v primerjavi s srednje velikimi (29,8%). 4.3 Rezultati 4.3.1 Študija procesa odgovarjanja V preučevanem vprašalniku morajo respondenti poročati finančne podatke. Ker so le-ti vodeni na podlagi računovodskih standardov, ni presenetljivo, da vsi udeleženci (tako telefonskih kot osebnih intervjujev) opravljajo delo računovodje, čeprav so njihovi točni nazivi delovnih mest in stopnja izobrazbe različni. Vsi respondenti, s katerimi smo se pogovarjali, že dalj časa izpolnjujejo vprašalnike. Pogostokrat so omenili, da to počnejo že celotno svojo poklicno kariero, kar je nekoliko v nasprotju z ugotovitvami ameriške raziskave (VVillimack in Nichols, 2010), ki navaja, da se respondenti v uradnih anketah pogosto menjujejo. Ker nihče izmed udeležencev, ni poročal podatkov SURS prvič, nismo uspeli izvesti primerjave med novinci in respondenti z dolgoletnimi izkušnjami. Akademska strokovnjaka s področja računovodstva z Ekonomske fakultete v Ljubljani sta ob pregledu vprašalnika investicij izrazila nekaj dvomov, ali se definicija investicij, ki je podlaga vprašalniku (in tudi opredeljena v navodilih), ujema z definicijo investicij, ki jo dejansko uporabljajo v praksi. Ko smo o tem povprašali respondente v telefonskem intervjuju, so nam vsi zatrdili, da definicija investicij povsem ustreza tisti, ki jo tudi sami uporabljajo. Tudi na vprašanje, ali so navodila vprašalnika dovolj jasna in razumljiva, so vsi udeleženci pritrdilno odgovorili in zatrdili, da navodila povsem razumejo. Razkorak med akademskim pogledom na investicije in pogledom respondentov v enotah se kaže tudi pri analizi osebnih intervjujev z respondenti. Udeleženci so odgovarjali na 6 nalog, kjer je bilo potrebno posamezni primer prepoznati kot investicijo. Pet primerov lahko opredelimo kot investicijo v osnovna sredstva (pohištvo, hladilniki, programska oprema in programska rešitev), enega pa ne (poštne znamke). Slednjega so vsi udeleženci pravilno prepoznali kot strošek oziroma potrošni material. Nekajkrat se je zataknilo pri pohištvu in hladilnikih, saj so udeleženci menili, da v nalogah manjka ključna informacija o vrednosti nabave, pri čemer so omenjali vrednost nabave nad 500 evrov kot kriterij za opredelitev investicije. Bolj problematična pa sta se izkazala primera programske opreme oziroma programske rešitve, ki ju analizirani vprašalnik obravnava kot investicijo v osnovna sredstva, akademski strokovnjaki s področja računovodstva pa so tu izrazili zadržke(da sicer gre za primera investicije, a ne v osnovna sredstva). Analiza rezultatov pokaže, da so potencialni respondenti odgovarjali bolj v skladu z akademsko opredelitvijo investicij in omenjenih primerov niso prepoznali kot investicije v osnovna sredstva, nasprotno pa so aktualni respondenti večinoma pri obeh primerih odgovorili pritrdilno, da torej lahko govorimo o investiciji v osnovna sredstva tako pri programski opremi kot pri programski rešitvi. Poleg ustrezne in uporabne definicije investicij se zdi, da je vprašalnik dobro prilagojen virom podatkov v podjetjih, saj so ponovno vsi respondenti tako v telefonskih kot osebnih intervjujih zagotovili, da brez težav dostopajo do podatkov, ki jih morajo poročati in lahko vprašalnik v celoti sami izpolnijo. V večini primerov zadostuje en knjigovodski vir, iz katerega lahko neposredno vnesejo zahtevane podatke v vprašalnik. Nekateri respondenti so omenili, da podatke že vodijo v ustrezni obliki prav z namenom kasnejšega hitrega in neproblematičnega vnosa v vprašalnik. Redki respondenti so navedli, da pri izpolnjevanju vprašalnika kot dodaten vir preverjajo tudi letno poročilo podjetja. Izpolnjevanje vprašalnika očitno poteka razmeroma enostavno in brez večjih težav. Udeleženci so namreč poročali, da v izpolnjevanje vprašalnika ne vložijo veliko časa, niti za to aktivnost ni potrebno velikega truda, saj je postopek utečen in že skorajda avtomatičen - natanko namreč vedo, kaj morajo storiti, kakšne podatke zahteva vprašalnik in kam jih je potrebno vpisati. Na podlagi analiziranih informacij, pridobljenih s telefonskimi in osebnimi intervjuji, se zdi, da respondenti z leti izkušenj razvijajo oziroma optimizirajo veščino izpolnjevanja vprašalnikov oziroma poročanja podatkov, a je nato ne razvijajo dalje. Za razvijanje strokovnosti so namreč potrebno nenehno obnavljanje in pridobivanje novih izkušenj, vendar se zdi, da je ta proces pri izpolnjevanju vprašalnikov prekinjen. Podobno ugotavljajo tudi raziskave izpopolnjevanja veščin (Bilalič, McLeaod in Gobet, 2008), ki nakazujejo, da se avtomatizacija procesa razvije skozi dolgotrajne praktične izkušnje. Na začetku se je potrebno seznaniti z nalogo in pridobiti ustrezno splošno znanje, nato se pa postopoma to znanje ojačuje in vgrajuje v samo izvajanje aktivnosti. Določeno aktivnost tako privedemo do stopnje, ko postane hitra, razmeroma točna in ne zahteva velikega truda, zdi se, da jo deloma izvajamo že povsem nezavedno. Rezultat takšnega procesa, je hitro izvajanje aktivnosti brez večjih napak, ko nam je situacija dobro poznana (Anderson in Lebiere, 1998). Podobno so v intervjujih navajali tudi strokovnjaki za vsebinsko področje izbrane ankete na SURS. Njihove izkušnje kažejo, da se napake večinoma pojavljajo pri enotah oziroma respondentih, ki prvič poročajo in tako nimajo veliko izkušenj z izpolnjevanjem uradnih anket, saj so bodisi šele nastopili delovno mesto bodisi začasno nadomeščajo osebo, ki sicer izpolnjuje vprašalnike v podjetju. Avtomatizacija pri izpolnjevanju vprašalnika se je pokazala tudi pri priznanju udeležencev telefonskih in osebnih intervjujev, da navodil pravzaprav niti ne berejo in prvo stran preskočijo, ker so z vsebino seznanjeni in točno vedo, kaj morajo narediti. Strategijo nebranja prve strani posredno potrjujejo tudi odgovori na vprašanje, ali so seznanjeni z namenom zbiranja podatkov, ki je sicer opredeljen na prvi strani vprašalnika. Približno polovica udeležencev telefonskega intervjuja je na vprašanje odgovorila pritrdilno, medtem ko je druga polovica priznala, da namena ne pozna. Kljub temu pa nihče od respondentov, ki so menili, da poznajo namen, ni uspel le-tega tudi povzeti. Strokovnjaki za vsebinske vidike obravnavane ankete na SURS so na podlagi dolgoletnih izkušenj z respondenti tudi definirali nekaj vidikov, za katere so menili, da so še posebej problematični pri izpolnjevanju vprašalnika. Ti vidiki se nanašajo predvsem na specifične procedure (npr. kako knjižite nakup novega OS v letu poročanja, ki ste ga v istem letu prodali in ponovno najeli; prikaz naložbene nepremičnine, če prinaša gospodarske koristi). Čeprav navodila za izpolnjevanje vprašalnika pojasnjujejo tudi navedene problematične postopke, strokovnjaki s SURS opažajo, da respondenti pri njih pogosto naletijo na težave. Udeležence telefonskega intervjuja smo vprašali, če bi znali izpeljati omenjene postopke. Večina udeležencev je zatrdila, da so jim postopki jasni, čeprav z njimi nimajo praktičnih izkušenj, a verjamejo, da bi jih lahko ustrezno izpeljali. Ko smo jih nato povprašali po konkretnih korakih v postopku, jih nihče izmed udeležencev ni znal pravilno navesti. Pojav lahko razložimo s konceptom tihega znanja, ki ga ne moremo artikulirati, čeprav je globoko prepleten s samim izvajanjem določene aktivnosti. Če izhajamo iz predpostavke, da so respondenti strokovnjaki na svojem področju, lahko predvidevamo, da bi v konkretnem primeru lahko postopek ustrezno izpeljali, a ga ne bi znali verbalizirati. Hkrati pa se nam ponuja tudi razlaga, da morda udeleženci niso bilo dovolj motivirani za sodelovanje v telefonskem intervjuju in so se zato odločili za odgovor, za katerega so menili, da je bolj zaželen s strani spraševalca. Med osebnimi intervjuji smo se poleg dodatnega vpogleda v proces odgovarjanja želeli seznaniti še s specifičnim semantičnim znanjem respondentov. Prva tabela v vprašalniku namreč zahteva, da respondenti vrednosti posameznih investicij v poročevalski enoti seštejejo in vpišejo k ustreznim kategorijam. Le-te so osnovane na CPA-NACE klasifikacijah produktov in dejavnosti. Udeležencem v raziskavi smo pokazali 50 primerov investicij in jih prosili, da jih prosto razvrščajo po vsebinski podobnosti, v drugem delu pa smo jim ponudili 7 kategorij, ki ustrezajo tistim iz vprašalnika, in jih prosili, da dane primere uvrstijo v ustrezne kategorije. Primere investicij smo povzeli po Tabeli 1 v vprašalniku (kjer so ob posameznih kategorijah navedeni vzorčni primeri, ki se v praksi najpogosteje pojavljajo), dodatno pa smo vključili tudi primere, na katere so nas opozorili strokovnjaki SURS, saj so jih v kontaktih z respondenti zaznali kot problematične z vidika razvrščanja (npr. knjiga). V prvem koraku - pri prostem razvrščanja so udeleženci spontano oblikovali med 4 in 10 kategorij, pogosto pa so jim določeni primeri povzročali težave in jih niso uspeli uvrstiti v nobeno od kategorij. Spontane kategorije, ki so jih oblikovali, so se v večini primerov precej dobro ujemale s predlagano kategorizacijo v drugem koraku. Kvalitativna analiza kaže, da lahko razmeroma dobro razlikujemo med "neproblematičnimi" primeri, ki jih je večina udeležencev v prvem koraku zelo podobno razvrstila, v drugem pa pravilno razvrstila v ustrezno kategorijo (npr. plemenska živina, večletni nasad); in primeri, ki so udeležencem povzročali precejšnje težave. Tak primer je knjiga, ki je skoraj nihče ni uvrstil pravilno (v kategorijo strojev in opreme), so jo pa pogosto uvrstili pod neopredmetena osnovna sredstva ali vrednosti. Knjiga se je sicer izkazala za problematičen primer tudi z vidika vrednosti, saj so udeleženci navajali, da je niti ne obravnavajo kot investicijo. Medtem ko so bile kategorije strojev, gradbene opreme in prometnih sredstev razmeroma nedvomuno določene in so se večinoma nakazovale že pri prostem razvrščanju, je do večjih razlik prihajalo tudi pri uvrščanju neopredmetenih sredstev. Potencialni respondenti predlagane kategorizacije niso povsem razumeli, saj so vrednosti in licence, patente, blagovne znamke in koncesije obravnavali kot podredno kategorijo neopredmetenim osnovnim sredstvom, medtem ko so aktualni respondenti s tovrstno klasifikacijo (izpeljano na podlagi vprašalnika) imeli manj težav, kar ponovno nakazuje na razlike v razumevanju koncepta investicij, ki smo jih že omenjali zgoraj. Najbolj presenetljiv odziv respondentov je bilo opaziti pri kategoriji vrednosti, za katero tudi nekateri izkušeni računovodje niso vedeli, da sploh obstaja v vprašalniku. Zanimivo pa je, da je nato večina respondentov vanjo razmeroma enostavno uvrstila primere. Velikokrat so bili to prav tisti primeri, ki jih pri prostem razvrščanju niso znali ustrezno povezati z ostalimi. Primere, ki so jim sicer povzročali največ težav pri uvrščanju (med njimi je najbolj izrazit primer diamantov), so respondenti prihranili za konec, ko so jim namenili razmeroma več časa v primerjavi z dobro poznanimi primeri (med slednjimi najdemo predvsem prometna sredstva, stroje in opremo). 4.3.2 Analiza urejanja podatkov Pregled prispelosti Točnost oddaje vprašalnika je ena od zahtev obveznega statističnega poročanja (poleg točnosti poročanih podatkov). Kasnejša oddaja povzroča dodatne stroške zaradi opominjanja in zamud pri objavi končnih statistik, nakazuje pa lahko tudi na manjšo skrb za poročanje, ki je lahko povezana z bolj površnim izpolnjevanjem in posledično napakami v vprašalniku. Tabela 5 zato prikazuje prispelost vprašalnikov. Rok za oddajo vprašalnikov je bil 18.5.2012. Do tega datuma je podatke poročalo 682 enot (oziroma 46% vseh enot). V tednu, ki je sledil roku za oddajo (22.5.-28.5.), je na Statistični urad prispelo še 289 (17,3%) vprašalnikov. Statistični urad je 28.5.2012 poslal prvi opomin 353 (21%) enotam, ki se niso odzvale, od tega jih je bilo 96 ključnih. 11.6.2012 je Statistični urad poslal še drugi opomin, ki ga je prejelo 218 (13%) enot, med njimi 60 ključnih. Po prvem opominu je vprašalnik vrnilo 217 (12,9%) enot, po drugem pa še preostalih 294 enot (17,6%). Pri nadaljnji analizi smo vprašalnike razdelili v tri skupine glede na prispelost: pravočasno prispele vprašalnike do roka za oddajo (18.5.), vprašalnike z zamudo, ki so prispeli pred pošiljanjem prvega opomina (do 28.5.), in vprašalnike z opominom, ki bo bili vrnjeni bodisi po prvem bodisi po drugem opominu (do 31.8.). Tabela 5: Prispelost vprašalnikov Datum oddaje Ključne enote Ostale enote Skupaj enote Do 18.5. (pravočasno) 273 409 682 Do 28.5. (pred prvim opominom) 120 169 289 Do 31.8. (po prvem opominu) 165 346 511 Skupaj (a) 558 924 1482 Neprispeli (b) 33 160 193 Skupaj (a)+(b) 591 100% 1084 100% 1675 100% Med pravočasno prispelimi enotami je bilo 273 ključnih enot oziroma 48,9% od vseh ključnih enot, medtem ko je med ostalimi enotami pravočasno oddalo vprašalnik 409 oz. 44,3% od vseh ostalih enot. Tudi tik po roku je vprašalnik oddal nekoliko večji delež ključnih enot (21,5%) v primerjavi z ostalimi, vendar te razlike niso statistično značilne Statistično pomembno razliko zasledimo, če primerjamo enote po velikostnih razredih glede na prispelost (x2=16,048, df=4, p=0,03). 48,1% velikih in 48,2% srednje velikih podjetij je vprašalnik oddalo praočasno, med majhnimi podjetji je ta delež nekoliko nižji - 43,8%. Nasprotno pa je delež najpozneje oddanih vprašalnikov pri majhnih podjetjih višji (38,9%) v primerjavi z srednje velikimi (30,4%) in velikimi (26%). Primerjava prispelosti vprašalnikov glede na šifro dejavnosti pokaže odstopanja od zgoraj opisanega trenda oddajanja obrazcev pri dejavnostih gostinstva (področje I), kjer je več kot polovica enot (55,8%) poročala po opominu (N=43) in dejavnostih prometa in skladiščenja (področje H) ter drugih dejavnostih (področje S), kjer je skoraj polovica enot (46,1% oziroma 46,2%) poročala po opominu (N=76 oziroma 13). Nasprotno pa je pri finančnih in zavarovalniških dejavnostih (področje K) večina enot 65,5% poročala pravočasno (N=29). Visok delež pravočasnega poročanja zasledimo tudi pri poslovanju z nepremičninami (področje L), dejavnostih javne uprave in obrambe, dejavnostih obvezne socialne varnosti (področje O) - do roka je poročala 60,0,7% (N=10) oziroma 59,1% (N=88) enot. Slika 2: Delež enot, ki so pravočasno oddale vprašalnik, po dejavnostih SKD (v %) K L 0 N R D F G " A P Q . J M H C B 1 E S 0 C ) 1 0 2 0 3 0 4 0 5 0 6 0 7 čas, porabljen za izpolnjevanje vprašalnika Vprašalnik ima zelo veliko polj za izpolnjevanje, zato že sam pregled vprašalnika zahteva precej časa. Poročevalske enote morajo na vprašalniku tudi navesti, koliko časa (v minutah) so porabile za izpolnjevanje vprašalnika. Več porabljenega časa je pričakovati pri enotah z več in bolj raznovrstnimi investicijami in raznolikim financiranjem le-teh. Več porabljenega časa lahko sugerira bolj kakovostno izpolnjevanje in posledično manj napak ter manj dela za SURS pri urejanju podatkov. Podatka o porabljenem času niso posredovale vse enote, ampak le 1045. V povprečju so enote za vprašalnik porabile 99 minut (SD=170). Razlike so med enotami velike, saj se poročani časi izpolnjevanja gibljejo med 1 minuto in 40 urami. Razlike v povprečnem času izpolnjevanja med različnimi skupinami enot glede na prispelost niso statistično značilne (F=0,949; df=2,1042; p=0,387). Nasprotno pa zasledimo zelo izrazito in statistično značilno razliko v povprečnem času izpolnjevanja vprašalnika med različno velikimi podjetji (F=66,708; df=2, 1039; p=0,000). Majhna podjetja so poročala o najkrajšem času izpolnjevanja (M=66,25; sd=79,41), sledijo jim srednje velika podjetja (M=108,44; SD= 167,75), medtem ko velika podjetja za izpolnjevanje v povprečju porabijo skoraj petkrat več časa, čeprav so znotraj skupine zelo izrazite razlike (M=311,41; SD=422,19). število vnosov Čas, porabljen za izpolnjevanje vprašalnika, je povezan tudi s številom poročanih podatkov, to je s številom vnosov v vprašalnik. Število vnosov je načeloma odvisno od pojava samega, torej od raznovrstnosti investicij in njihovega financiranja. Vendar pa lahko odseva tudi neugodne strategije izpolnjevanja, npr. izpolnjevanje po liniji najmanjšega odpora, ki vodi v manjše število vnosov (podajanje agregiranih podatkov namesto razčlenjenih, zanemarjanje za enoto manjših vrednosti itd.). V povprečju so enote v analizirano Tabelo 1 v vprašalniku vpisovala 12,03 podatkov (SD=7,15; N=1482), pri čemer se število vnosov giblje med 1 in 46. Med njimi je bilo tudi 5,9 % takih enot, ki v to tabelo ni vpisalo nobenega podatka. Enote, ki so vprašalnike oddala z zamudo, a pred prvim opominom, so v povprečju vnesla v Tabelo 1 največ podatkov (M=13,15; SD=7,15); nekoliko manj podatkov so vnesli v enotah, ki so vprašalnike oddala pravočasno (M=12,65; SD=6,57), medtem ko so enote z največjo zamudo pri oddaji vprašalnikov dejansko vnesle najmanj podatkov (M=10,57; SD=7,65). Razlika je statistično značilna. Povprečno število vnosov v tabelo se statistično značilno razlikuje tudi med različno velikimi enotami (F=133,61; p=0,000). Majhne in srednje velike enote so vnesle manj podatkov (M=10,08; SD=6,10 oziroma M=13,01; SD=6,61) v primerjavi z velikimi enotami (M=20,85; SD=9,16), kar je tudi pričakovano. Med številom vnosov podatkov v Tabelo 1 in poročanim časom izpolnjevanja celotnega vprašalnika pričakovano najdemo srednje močno pozitivno korelacijo (r=0,407; p=0,00; N=1045), z večjim številom potrebnih vnosov se v povprečju podaljšuje tudi čas izpolnjevanja. Spremenljivki čas izpolnjevanja in število vnesenih podatkov smo združili v novo spremenljivko, opredeljeno kot kvocient med časom izpolnjevanja celotnega vprašalnika in številom vnesenih podatkov v Tabelo 1. Ustrezneje bi sicer bilo vzeti število vseh podatkov (in ne le v Tabeli 1), vendar smo predpostavili, da bi morala biti zaradi obsežnosti Tabele 1 korelacija s tem približkom dovolj močna. Vrednost nove spremenljivke se pri analiziranih enotah giblje med 0,14 min in 133,33 min na vnesen podatek (M=7,26; SD=8,41; n=1034). Povezave med novo spremenljivko in številom napak nismo našli (r=0,03; p=0,63). Prav tako analiza ne pokaže statistično značilnih razlik v povprečnem porabljenem času na vnos glede na prispelost podatkov (F=l,031; df=2,1031, p=0,36), opazimo pa statistično značilne razlike med posameznimi velikostnimi razredi podjetij (F=35,556; df=2,1028, p=0,00). Večja podjetja imajo približno dvakrat daljši čas na vnos (M=15,15; SD=20,53) v primerjavi s srednjimi (M=7,81; 50=7,89) oziroma manjšimi (M=5,84; SD=5,24). Tabela 6 kaže, da so enote, klasificirana kot dejavnost rudarstva (Področje B), porabila največ časa na vnos, medtem ko so enote iz dejavnosti poslovanja z nepremičninami najhitreje izpolnjevala vprašalnik. Tabela 6: Porabljen čas za izpolnjevanje na vnos v Tabelo 1 po dejavnostih Področje SKD Št. enot Porabljen čas za izpolnjevanje (min) na vnos v Tabelo 1 SD A 14 4,8266 1,99301 B 6 13,3208 9,51513 C 237 6,7833 8,49028 D 6 10,6431 4,52100 E 25 8,4281 7,95069 F 56 4,4032 3,43694 G 119 6,4054 6,03494 H 56 7,0320 7,47381 1 26 5,1526 3,49065 J 31 7,4757 11,37659 K 18 9,4591 7,73740 L 7 3,3556 ,70189 M 51 5,8055 4,45628 N 24 5,2237 3,94249 0 71 10,7373 12,09378 P 194 7,8147 5,62692 Q 65 9,2160 17,31122 R 23 7,6156 6,05014 S 5 8,2500 8,35558 Skupaj 1034 7,2602 8,40793 Popravki na osnovi logičnih kontrol SURS je postopek urejanja izvedel na 489 vprašalnikih (kar znaša 33% vseh prispelih vprašalnikov oz. analiziranih enot). Med vprašalniki, ki jih je bilo potrebno urejati, jih je 230 (47%) prispelo pravočasno; 111 (22,7%) pred prvim opominom in 148 (30,3%) po prvem oziroma drugem opominu. Pri vprašalnikih, ki jih ni bilo potrebno urejati, sta deleža pravočasno oziroma pred opominom prispelih obrazcev nekoliko nižja (45,5% oziroma 17,9%), delež zapoznelih obrazcev pa nekoliko višji (36,6%). Razlika je statistično značilna (x2=7,752, df=2, p=0,02). Ključne in ostale obravnavane enote se med seboj ne razlikujejo v deležu urejanja. Tako med enotami, ki jih je bilo potrebno popraviti, kot med enotami brez popravkov, najdemo slabih 38% ključnih enot in dobrih 62% ostalih enot. Statistično značilnih razlik ne opazimo niti po velikostnih razredih enot (x2=5,792, df=2, p=0,06). Med enotami glede na dejavnost je najbolj izstopajoč delež urejanja na področju strokovnih, znanstvenih in tehničnih dejavnostih (področje M), kjer je bilo potrebno popraviti 47,3% prispelih vprašalnikov (N=74); ter informacijskih in komunikacijskih dejavnostih z 42,9% popravljenimi vprašalniki (N=42). Poročani čas izpolnjevanja vprašalnika se pomembno razlikuje med skupinama enot s popravki oziroma nepopravljenih enot (t=l,967; df=1043; p=0,05): enote, ki jih ni bilo potrebno popravljati, so vprašalnik izpolnjevale dlje časa (M=106 min, SD=196, N=710) v primerjavi z enotami, ki so oddale nepopolne vprašalnike (M=84 min, SD=96, N=335). Nasprotno pa med primerjanima skupinama ne zasledimo razlik v povprečnem številu vnosov podatkov (t=-l,764; df=489; P=0,08). Logične kontrole so ob vnosu opozorile na skupaj 1191 napak pri analiziranih enotah, kar v povprečju znaša 2,43 napake na enoto (SD=1,95; N=489). Število napak,ki jih je bilo potrebno urediti/popraviti pri posamezni enoti, se je gibalo med 1 in 16. Večina enot naredila po eno napako (40,7%) oziroma dve napaki (25,3%), medtem ko sta 2 % enot naredila osem ali več napak. Med enotami nismo našli statistično pomembnih razlik v povprečnem številu napak glede na čas oddaje vprašalnika (F=0,315, df =2, 487; p=0,43; N=489): pravočasna oddaja (M=2,41, SD=1,92), oddaja do prvega opomina (M=2,37; SD=1,76; N=lll) in oddaja po prvem opominu (M= 2,48; SD=2,01; N=145). Prav tako nismo našli povezave med številom napak v vprašalniku in velikostjo podjetja (F=0,229; df=2,485; p=0,79; N= 487). Ključne enote se od preostalih ne razlikujejo v številu napak (t=0,437; df=488; p=0,08). Število napak tudi ni povezano s časom izpolnjevanja vprašalnika (r=-0,02; p=0,651; N=335), zasledimo pa statistično značilno negativno povezavo s številom vnosov podatkov v prvo tabelo (r=-0,13; p=0,00, N=489). Presenetljivo se večje število vnesenih podatkov odraža v manjšem številu napak. Med vrstami napak izrazito izstopajo manjkajoče vrednosti. V 80,7% primerov vseh javljenih napak (N=1191) oziroma pri 84,3% enot, ki so bile urejane (N=489), so morali urejevalci v vprašalnik vnesti manjkajoči podatek. Tabela 1, ki smo jo v sklopu raziskave analizirali, od respondenta zahteva, da vrednosti investicij sešteva v nadredne kategorije ter vpisuje v ustrezna polja, vsoto pa je pogosto treba večkrat vpisati. Pri napaki manjkajočih vrednosti so respondenti tako najverjetneje spregledali tista polja, kjer je bilo potrebno vrednosti posameznih kategorij investicij (ponovno) vpisovati. Čeprav se zdi nepozorno branje navodil najverjetnejša razlaga za izpuščene vrednosti, je možno tudi, da so respondenti kljub v navodilih opredeljenim logičnim kontrolam menili, da istega zneska ni potrebno večkrat vpisovati in zadostuje le enkrat. Pri 15,5% neizpolnjenih logičnih kontrol oziroma 23,7% popravljanih enot je bilo potrebno popraviti napačno vpisane vrednosti. Takšne napake so bile v večini primerov rezultat pomote pri seštevanju posameznih vrednosti investicij. V poljih, kjer je bilo potrebno sešteti vrednosti iz podrednih kategorij, so respondenti najverjetneje spregledali katerega izmed členov, kar je vodilo do neskladnih (nepopolnih) končnih vsot. 3,8% napačno vpisanih vrednosti (pri 7,3% popravljanih enot) so urejevalci podatkov izbrisali. Največkrat so respondenti vpisali znesek v napačno polje, zato ga je bilo v procesu urejanja podatkov potrebno prestaviti na ustrezno mesto. V večini primerov je ustrezno polje ležalo nad oziroma pod poljem z napako. Razloge za takšno napako morda lahko iščemo v precej zgoščeni tabeli, ki vsebuje veliko razmeroma ozkih vrstic, kar lahko vodi do manjše preglednosti in posledično napačnega vpisovanja podatkov. Pogledali smo tudi razvrstitev napak po vrsticah, kjer se nahajajo in tako skušali določiti njihov vpliv na končno statistiko. Tabela 1, ki smo jo v okviru raziskave analizirali, vsebuje 33 vrstic, napake se pojavljajo v večini od njih, in sicer v 28 vrsticah. Napake se niso pojavile v petih vrsticah, in sicer 1,1214; 1,13; 1,14; 1,142; in 1,24. Več kot polovica vseh popravkov se nahaja v dveh vrsticah - 1.1. (28,7% popravkov) in 1.12 (27,3%). V omenjenih vrsticah je potrebno navesti seštevek vsot treh oziroma dveh kategorij investicij. V večini primerov so respondent! zbirno vrstico oziroma polje pustili prazno (manjkajoča vrednost) oziroma so vpisali napačno vrednost (seštevek ni vseboval zneskov iz vseh ustreznih kategorij). Popravki, ki zahtevajo vnos podatkov oziroma popravek, se pogosteje pojavljajo v zbirnih vrsticah (kjer je potrebno vpisovati vsote iz več kategorij), medtem ko se popravek brisanja najpogosteje pojavlja v vrsticah, kjer je potrebno vpisati vrednost investicij v posamezni kategorijo - v tem primeru so respondent največkrat vpisali vsoto iz več kategorij, ki bi jo sicer morali vpisati v vrstico nižje oziroma višje. Popravki na osnovi primerjav z drugimi viri Po opravljeni logični kontroli so na SURS izvedli še vsebinsko kontrolo končne vrednosti investicij, ki so jo primerjali z vrednostmi iz drugih dveh virov (DDV in četrtletno statistično raziskovanje o poslovanju poslovnih subjektov POSL-P/ČL). Vrednost investicij, ki so jo respondenti poročali v vprašalniku, se z navedenima viroma primerjave ni razlikovala samo pri 49 enotah, kar znaša 3,3% vseh analiziranih enot (3,3%; N=1482), v vseh ostalih primerih je med posameznimi viri prihajalo do manjših oziroma večjih odstopanj. Pri tem je potrebno upoštevati, da se opredelitve investicij med viri do neke mere razlikujejo. SURS je tako naknadno poklical 52 enot (3,5%), medtem ko so pri večini analiziranih primerov (1381 oziroma 93,2%) poročano vrednost investicij ohranili, saj so bile razlike med viri zanemarljive. Pri večini klicanih podjetij - 37 enotah oziroma 71,1% klicanih enot - podatka o vrednosti investicij ni bilo potrebno popravljati, saj se je vrednost, navedena v vprašalniku, izkazala za pravilno. Pri dobri četrtini vprašalnikov (14 oziroma 2,9%) je oseba, ki je vsebinsko odgovorna za izbrano anketo, ustrezno popravila vrednost investicij v sistemu Blaise. Ene enote kljub večkratnim poskusom niso uspeli kontaktirati. Primerjava podatkov po izvedenih popravkih Za sedem vrstic analizirane Tabele 1, v katerih so se najpogosteje pojavljali popravki, smo primerjali razlike v kumulativnih vsotah po vnosu poročanih podatkov v sistem Blaise in po opravljenih logičnih kontrolah, v prvi vrstici pa smo pogledali še primerjavo z vsebinskimi popravki (tu se nahaja vrednost investicij, ki je bila v postopku vsebinske kontrole primerjana z dvema zunanjima viroma). V vrsticah, ki smo jih analizirali, se nahaja 90% vseh popravkov (na podlagi logičnih kontrol), in sicer v vrstici 1 - 12,1%; 1.1-28,7%, 1.11 - 3,8%, 1,12-27,3%, 1,121 - 10,6%, 1,122 - 4,4% in 1,2 - 3,1% popravkov. V vsaki vrstici so tri polja, kjer respondenti vpišejo investicije v nova osnovna sredstva, investicije v rabljena osnovna sredstva in dezinvesticije oz. prodajo osnovnih sredstev. Tabela 7 kaže, da se vpliv popravkov na končno vsoto poročanih podatkov precej razlikuje po vrsticah in poljih. Kumulativne vsote po opravljenih logičnih kontrolah se glede na poročane podatke v nekaterih primerih praktično niti ne razlikujejo, medtem ko ponekod prihaja do opaznih sprememb, npr. pri vrednosti rabljenih osnovnih sredstev v kategorijah opredmetenih osnovnih sredstev; gradbenih objektov in prostorov; strojev, opreme in prometnih sredstev; ter neopredmetenih osnovnih sredstev. Večina kumulativnih vsot je po opravljenih logičnih kontrolah višja, kar ne preseneča, saj smo večino popravkov opredelili kot manjkajoče vrednosti, pribitek v končni vsoti je tako rezultat dodatnih vnosov v posamezna polja vprašalnika. Nasprotno pa polja z manjšimi vsotami po opravljenih logičnih kontrolah nakazujejo na popravljanje (kjer v poročani vsoti niso bili zajeti vsi ustrezni členi) oziroma brisanja. Tabela 7: Vpliv logičnih kontrol na agregatne podatke Vrstica Polje Vsote na osnovi Vsote na osnovi Razlika Absolutni originalno poročanih podatkov po opravljeni delež razlike podatkov logični kontroli (v%) 1 Nova OS 1.693.504.235 1.639.795.259 -53.708.976 3,2 Rabljena OS 71.734.560 75.783.254 4.048.694 5,6 Prodaja OS 169.995.333 175.769.281 5.773.948 3,4 1.1 Nova OS 1.442.104.256 1.568.476.344 126.372.088 8,8 Rabljena OS 90.160.756 75.614.361 -14.546.395 16,1 Prodaja OS 164.436.367 174.594.103 10.157.736 6,2 1.11 Nova OS 627.133.591 606.143.514 -20.990.077 3,3 Rabljena OS 26.950.744 30.845.488 3.894.744 14,5 Prodaja OS 68.868.913 69.415.318 546.405 0,8 1.12 Nova OS 934.033.331 961.196.489 27.163.158 2,9 Rabljena OS 39.216.323 44.768.873 5.552.550 14,2 Prodaja OS 9.551.4451 104.928.696 9.414.245 9,9 1.121 Nova OS 858.137.806 843.665.785 -14.472.021 1,7 Rabljena OS 36.445.445 37.360.533 915.088 2,5 Prodaja OS 35.872.775 36.374.451 501.676 1,4 1.122 Nova OS 120.005.927 117.530.704 -2.475.223 2,1 Rabljena OS 7.059.623 7.408.340 348.717 4,9 Prodaja OS 67.432.714 68.554.245 1.121.531 1,7 1.2 Nova OS 70.196.625 71.318.915 1.122.290 1,6 Rabljena OS 149.072 168.893 19.821 13,3 Prodaja OS 1.176.867 1.175.178 -1.689 0,1 Vrednost investicij v osnovna sredstva po opravljenih logičnih kontrolah smo primerjali še z vrednostmi po opravljeni primerjavi z DDV in vprašalnikom POSPL-ČV ter izvršenimi popravki na podlagi klicev v podjetja. V zgornji tabeli opazimo, da pri agregatnih vrednostih (to je vrednosti investicij v nova in rabljena sredstva ter dezinvesticij) prihaja od 3,2% zmanjšanja do 5,6% povečanja po opravljenih logičnih kontrolah. V opisu vsebinskih popravkov pa smo navedli, da so na SURS izvedli popravek končne vrednosti investicij na zelo majhnem deležu enot (n=14 oziroma 0,9% vseh analiziranih enot). Kljub temu pa so sicer maloštevilni vsebinski popravki izrazito spremenili končno vrednost investicij v nova osnovan sredstva, medtem ko sta ostali vrednosti rabljenih osnovnih sredstev in dezinvesticij-prodaje skoraj nespremenjeni (Tabela 8). Tu velja ponovno poudariti, da se navedene vrednosti nanašajo samo na izbrani vzorec, ki smo ga analizirali v naši raziskavi in tako ne odražajo končnih vrednosti investicij, ki so rezultat izbranega anketnega raziskovanja. Na podlagi slučajnega vzorca pa lahko predpostavljamo, da se trendi, ki jih opažamo v analizi naših podatkov, odslikavajo tudi na celotnem zajetju enot. Tabela 8: Vpliv vsebinskih kontrol na agregatne podatke Vrstica Polje Vsote na osnovi podatkov po opravljeni logični kontroli Vsote na osnovi podatkov po vsebinski kontroli Razlika Absolutni delež razlike (v%) 1 Nova OS 1.63.979.5259 1.360.166.574 -279.628.685 17,1 Rabljena OS 75.783.254 75.253.583 52.9671 0,7 Prodaja OS 175.769.281 175.434.899 334.382 0,2 multivariatne analize Skušali smo tudi identificirati skupine enot, ki so si podobne med sabo. Zaradi velikega števila kategoričnih spremenljivk smo uporabili razvrščanje v skupine v dveh korakih (angl. two-step cluster analysis). V model smo vključili spremenljivke: ključne enote, velikost in dejavnost podjetja, pravočasna prispelost vprašalnika in število vnosov, torej spremljivke, ki opisujejo enote in njihovo izpolnjevanje vprašalnika. Rezultat modela sta dve skupini: večja skupina vsebuje 62,1% enot, manjša pa 37,9%. Pregled pomembnosti posameznih vključenih spremenljivk pokaže, da sta bili skupini oblikovani predvsem na podlagi opredelitve, ali gre za ključno enoto (pomembnost prediktorja=l), kar je z vidika uporabe modela precej problematično. V prvo skupino je bilo sicer vključenih 70,2% majhnih podjetij, v drugega pa 61,8% srednje velikih (pomembnost prediktorja velikost je 0,30), medtem ko se skupini ne razlikujeta glede na dejavnost (v obeh skupinah je največ enot iz predelovalne dejavnosti) oziroma prispelost (v obeh skupinah prevladujejo enote, ki so pravočasno vrnile izpolnjen vprašalnik), razliko zaznamo le pri številu vnesenih podatkov (pomembnost prediktorja je 0,14): v prvi skupini le-ta znaša 10,13, v drugi pa 15,25. Z multiplo regresiisko analizo smo skušali ugotoviti, kateri izmed opazovanih dejavnikov vplivajo na čas izpolnjevanja vprašalnika in število napak. V dva regresijska modela smo vključili naslednje spremenljivke: število vnesenih podatkov, velikost in dejavnost enote, pravočasnost prispelosti obrazca. Pri dejavnosti enote smo vključili finančne in zavarovalniške dejavnosti (SKD=K) kot tiste enote, ki imajo zagotovo posebej veliko strokovnega znanja in ustreznih resursov. Čas izpolnjevanja vprašalnika smo skušali napovedovati še s prisotnostjo popravkov in številom napak (ob izključitvi enot brez popravkov), število napak pa smo napovedovali še s poročanim časom izpolnjevanja vprašalnika. Uporabili smo metodo Enter, kjer v model vključimo vse predhodno določene neodvisne spremenljivke. S spremenljivkami število vnesenih popravkov, velikost podjetja, dejavnost podjetja in pravočasnost prispelih obrazcev pojasnimo 21,9% variabilnosti spremenljivke čas izpolnjevanja vprašalnika (model je statistično značilen: F=32,635; df=7,813; p=0,00). Pri analiziranju enot s popravki lahko pojasnimo 32,1% variabilnosti časa izpolnjevanja vprašalnika ob vključitvi že omenjenih neodvisnih spremenljivk in dodani spremenljivki število napak (model je statistično značilen: F=15,330; df=8,259; p=0,00). Ne zmoremo pa pojasniti števila napak (vključene spremenljivke pojasnijo zgolj 3,9% variance; F=l,323; df=8,259, p=0,23). Na čas izpolnjevanja statistično značilno vplivata dve izmed izbranih spremenljivk: velikost podjetja (velika) in število vnosov: čas izpolnjevanja vprašalnika je daljši v večjih podjetjih oziroma pri enotah, ki morajo v prvo tabelo vnesti več podatkov. Z diskriminantno analizo smo pogledali še, kako dobro spremenljivki porabljen čas izpolnjevanja in število vnesenih podatkov ločujeta med enotami, ki jih je bilo potrebno urejati, in enotami brez popravkov. Razlika med skupinama enot glede na prisotnost popravkov se kaže pri obeh analiziranih spremenljivkah: potrebnem čas izpolnjevanja (VVilkinsonov Lambda=0,996; F=3,871; df=l, 1043; p=0,05) in številu vnesenih podatkov (Wilkinsonov Lambda=0,993; F=7,123; df=l, 1043; p=0,01). Skupina brez popravkov je dalj časa izpolnjevala vprašalnik (M= 106,24; SD= 195,96) v primerjavi s skupino s popravki (M= 84,06; SD= 96,28), obenem pa je v povprečju vnesla tudi več podatkov v prvo tabelo (M=13,02; SD=6,50; oziroma M=ll,87; SD=6,49). Diskriminantna funkcija statistično značilno razlikuje med skupinama enot glede na prisotnost popravkov (VVilkinsonov Lambda=0,992; x2=8,029, df=l, p=0,02), povprečen čas izpolnjevanja in povprečno število vnesenih podatkov padeta od skupine brez popravkov do skupine s popravki. S pomočjo diskriminantne funkcije je pravilno v obe skupini razvrščenih 47,5% enot. 4.4 Ugotovitve in priporočila Kot prvo, in morda celo najpomembnejšo ugotovitev, navajamo, da je za prihodnje analize najprej potrebno poskrbeti za boljšo podatkovno osnovo. Sedanji postopek urejanja namreč omogoča zgolj delni vpogled in analizo samega postopka, ali pa od zaposlenih zahteva precej dodatnega napora. Pričakovati sicer je, da bo vpeljava elektronskega poročanja rešila del problemov, saj se bodo podatki avtomatsko shranjevali v vseh fazah statistične obdelave. Vseeno pa lahko računamo na to, da bo del populacije še vedno odgovarjal na tiskanih vprašalnikih, zato bo za celovito obravnavo potrebno razmisliti o sistemski rešitvi tudi za ta del. Ugotovitve študije procesa odgovarjanja v poročevalskih enotah lahko strnemo v naslednjih nekaj točk, pri katerih pa se je potrebno zavedati, da so postavljene na osnovi kvalitativnega raziskovanja na manjših, večinoma priložnostnih vzorcih, za katere je možno, da so zajele boljše (oz. vsaj bolj motivirane) respondente: Za uspešno opravljeno nalogo je potrebno razumevanje navodil, pa tudi specializirano strokovno znanje. Obravnavani respondenti ne poročajo o težavah pri razumevanju navodil v vprašalniku. Za obravnavane respondente v poročevalskih enotah se zdi, da imajo ustrezno strokovno -računovodsko znanje, ki ga zahteva vprašalnik investicij, obenem pa tudi večletne izkušnje z izpolnjevanjem vprašalnika. Obravnavani respondenti ne poznajo namena zbiranja podatkov. Razumevanje razlogov za vključenost v raziskavo in njenega namena je sicer ključnega pomena pri motivaciji za sodelovanje v raziskavo in posledično tudi pomembno vpliva na proces odgovarjanja, zato bi bilo potrebno razmišljati o načinih za doseganja večje prepoznavnosti namenov statističnih raziskovanj v uradnih anketah. Čeprav se zdi, da opredelitve investicij, niso vedno povsem enoznačne, se zdi, da respondenti uporabljajo in sledijo definiciji, ki jo v vprašalniku postavlja SURS. Na ta način si pogosto tudi organizirajo informacijske vire, iz katerih lahko hitro in učinkovito vzamejo zahtevane informacije, kar kaže na določeno stopnjo avtomatizacije pri izpolnjevanju vprašalnika. Kljub številnim pozitivnim vidikom avtomatizacije poročanja podatkov, lahko naletimo na težave, ko star, dobro utečen postopek ni več ustrezen in je potrebno oblikovati nov odgovor, kar se največkrat zgodi, ko pride do sprememb v navodilih oziroma vsebini vprašalnika, ali pa tudi ob spremembi računovodskih standardov. Statistični urad mora posebno pozornost nameniti obveščanju enot oziroma respondentov o morebitnih spremembah, ki jih uvaja v vprašalniku, in tako zagotoviti, da jih bodo respondenti opazili ter ustrezno prilagodili proces odgovarjanja. Ob uvrščanju manj poznanih primerov investicij semantično znanje ne zadostuje za uspešen odgovor (predvsem zaradi pomanjkanja praktičnih izkušenj z uporabo razvrščanja določenega primera investicij). Pri novih, nepoznanih primerih se respondent ne more več zanašati na obstoječe znanje, zato mora zgraditi novo miselno prezentacijo, v katero bo vgradil nove elemente. To lahko povzroči podaljšanje čas odgovarjanja. Po izkušnjah strokovnjakov s SURS se napake v izpolnjevanju vprašalnika pogosteje pojavljajo pri novih respondentih. Sklepamo lahko, da je respondent najbolj izkušena in strokovno usposobljena oseba za izpolnjevanja vprašalnikov v poročevalski enoti, vendar v primeru njegove odsotnosti prenos znanja ni vedno ustrezno opravljen. Vsega znanja, potrebnega za kakovostno in učinkovito izpolnjevanje vprašalnikov, namreč ne moremo eksplicitno izraziti in po možnosti zapisati, zabeležiti v dokumentacijo, kjer bo na voljo novi osebi, ki bo pričela z izpolnjevanjem vprašalnika. Zato je še posebej pomembno, da v poročevalskih enotah omogočijo tudi prenos znanja preko komunikacije med izkušenim respondentom in novincem, oziroma prenos znanja, ki niti ni mogoče skomunicirati (npr. učenje preko opazovanja). Ugotovitve analize urejanja pa po drugi strani strnemo v naslednje: Izmed analiziranih poročevalskih enot jih je 88,5% oddalo vprašalnik, a le slaba polovica enot je odgovorila pravočasno. Iz analize prispetja je sicer razviden učinek pošiljanja opominov, a se je potrebno zavedati visokih stroškov, ki ob tem nastanejo. - V nekaterih dejavnostih opazimo višji delež pravočasno oddanih vprašalnikov, in sicer pri finančnih in zavarovalniških dejavnostih (področje K), poslovanju z nepremičninami (področje L), dejavnostih javne uprave in obrambe , dejavnostih obvezne socialne varnosti (področje O). Nasprotno pa v dejavnostih gostinstva (področje I), prometa in skladiščenja (področje H) ter drugih dejavnostih (področje S) opažamo visok delež pozno oddanih vprašalnikov. Ena od možnih razlag za razlike bi lahko bila večja prisotnost zaposlenih z ekonomskimi znanji med enotami, ki poročajo pravočasno. Velike poročevalske enote so bolj obremenjene s poročanjem, saj je njihov čas izpolnjevanja vprašalnikov daljši v primerjavi s srednje velikimi in majhnimi, prav tako morajo v Tabelo 1, ki smo jo analizirali v okviru raziskave, vnesti več podatkov. Pri tretjini analiziranih vprašalnikov je bilo potrebno opraviti postopek urejanja na podlagi logičnih kontrol. Z večjim deležem urejanja najbolj izstopajo poročevalske enote na področju strokovnih, znanstvenih in tehničnih dejavnostih (področje M) ter informacijskih in komunikacijskih dejavnostih. Enote, ki jih je bilo potrebno urejati, so v povprečju naredile 2,43 napake. Najpogostejša vrsta napak so manjkajoče vrednosti. V štirih petinah primerov so urejevalci morali vstaviti manjkajočo vrednost v poljih, ki so jih respondenti spregledali. Pojav lahko razlagamo s površnostjo pri izpolnjevanju vprašalnika oziroma z napačnim razumevanjem in interpretacijo navodil, ki ponekod zahtevajo večkratno vpisovanje zneska - prav v poljih, kjer je potrebno sešteti posamezne vrednosti in vpisati skupno vsoto, se pojavlja večina manjkajočih vrednosti. - V nasprotju z logičnimi kotrolami pa je vsebinska kontrola na podlagi primerjave vrednosti investicij z drugimi viri odkrila razmeroma malo enot, ki jih je bilo potrebno zaradi velikega odstopanja dodatno preveriti. Kljub temu pa je strošek teh popravkov večji, saj je bilo tako potrebno 3,5% enot (tudi po večkrat) kontaktirati in odkriti vzrok napake. Čeprav se je pri večini kontaktiraniih enot poročana vrednost investicij izkazala za ustrezno, so prav ti popravki pri zelo majhnem deležu enot bistveno vplivali na končno kumulativno vsoto investicij (po analiziranih enotah). Ravno dolgotrajna prisotnost ankete očitno prispeva k ugotovitvi, da odgovarjanje tipično poteka hitro, rutinsko in z zaupanjem respondentov, da opravljajo svojo nalogo dobro. Po drugi strani pa preseneča precejšen obseg urejanja v tako utečeni anketi. To nakazuje tako na možnosti izboljšanja samega vprašalnika kot na možnosti izboljšanja urejanja preko izboljšanja komunikacije s poročevalskimi enotami, ki se očitno ne zavedajo svojih napak. 5. LITERATURA Adolfsson, C., Arvidson, G, Gidlund, P., Norberg, A. in Nordberg, L. (2010). Development and Implementation of Selective Data Editing at Statistics Sweden. Helsinki: Prispevek na European Conference on Quality in Official Statistics Aelen, F. in Smit, R. (2009). Towards an efficient data editing startegy for economic statistics at Statistics Netherlands. Stockholm: Prispevek na European Establishment Statistics Workshop Bavdaž, M. (2009). Conducting research on the response process in business surveys. Statistical journal of the IAOS, 26(1/2), 1-14. Allard, F. in Starkes, J. L. (1991). Motor-skill experts in sports, dance, and other domains. V: K. A. Ericsson & J. Smith (ur.), Toward a general theory of expertise. Prospects and limits. Cambridge: Cambridge University Press. Anderson, J. R. (2002). Cognitive Psychology and its Implications, 5th Ed. Anderson, J. R. in Lebiere, C. (1998). The Atomic Components of Thought. Mahwah, NJ: Erlbaum. Assoulin, D. in Kilchman, D. (2008). Standardization of Editing and Imputation Process Indicators within Swiss Federal Statistical Office. Rim: Proceedings of European Conference on Quality in Official Statistics. Baddeley, A. D. (1996). The fractionation of working memory. Proceedings of the National Academy of Sciences, 93,13468-13472. Baddeley, A. D. in Hitch, G. (1974). Working memory. The psychology of learning and motivation. 8, 47-89. Baddeley, A. D. in Logie, R. H. (1992). Auditory imagery and working memory. V: D. Reisberg (ur.), Auditory imagery. Hillsdale, New Jersey: Laurence Erlbaum Associates. Baddeley, A. D., Thomson, N. in Buchanan, M. (1975). Word length and the structure of short-term memory. Journal of Verbal Learning and Verbal Behavior, 14,575-589. Bavdaž, M. (2010). The multidimensional integral business survey response model. Survey Methodology, 36(1), 81-93. Bavdaž, M. (2010). Sources of measurement errors in business surveys. Journal of Official Statistics, 26 (1), 25-42. Benedik, B., in Garvas, T. (2011). Letno poročilo o kakovosti za raziskovanje Letno poročilo o investicijah v osnovna sredstva (INV-1) za leto 2009. Statistični urad Republike Slovenije. Benedik, B., in Nikič, B. (2007). Standardno poročilo o kakovosti za raziskovanje Letno poročilo o investicijah v osnovna sredstva za leto 2005 (INV-1). Statistični urad Republike Slovenije. Berry, D.C. in Broadbent, D.E. (1988). Interactive tasks and the implicit-explicit distinction. British Journal of Psychology. 79(2), 251-272. Berry, D. in Dienes, Z. (1993). Towards a working characterization of implicit learning. V: D. Berry in Z. Dienes (ur.). Implicit Learning: Theoretical and Empirical Issues. Hillsdale: LEA publishers. Biemer, P. P., in Lyberg, L. E. (2003). Introduction to survey quality. Hoboken, NJ: Wiley. Billman, D., in Shaman, D. (1990). Strategy knowledge and strategy change in skilled performance: A study of the game Othello. American Journal of Psychology, 103(2), 145-166. Black, O. (2009). Data editing - The Eden Project. Prispevek na konferenci 2009 European Establishment Statistics Workshop, Stockholm, Švedska. Charness, N. (1988). Expertise in chess, music, and physics: A cognitive perspective. V: L. K. Obler in D. Fein (ur.), The exceptional brain. Neuropsychology of talent and special abilities. New York: The Guilford Press. Charness, N. (1992). The impact of chess research on cognitive science. Psychological Research, 54, 4-9. Chase, W. G. in Ericsson, K. A. (1982). Skill and working memory. The Psychology of Learning and Motivation, 16,1-58. Collins, A. in Loftus, E. (1975). A spreading-activation theory of semantic processing. Psychological Review, 82 (6), 407-428. Collins, A. in Quillian, M. (1969). Retrieval time from semantic memory. Journal of Verbal Learning and Verbal Behaviour, 8,240-247. Cooke, N. J., Atlas, R. S., Lane, D., M. in Berger, R. C. (1993). Role of high-level knowledge in memory for chess positions. American Journal of Psychology, 106(3), 321-351. Cowan, N. (2001). The magical number 4 in short-term memory: A reconsideration of mental storage capacity. Behavioral & Brain Sciences, 24(1), 87-185. Cox, B. G., in Chinnappa, B. N. (1995). Unique Features of Business Surveys. V: B. G. Cox, D.A. Binder, B.N. Chinnappa, A. Christianson, M. J. Colledge, in P.S. Kott (ur), Business Survey Methods (str. 1-17). New York: Wiley-lnterscience. De Wall, T. (2008) An overview of statistica data editing. Den Haag/Heerlen: Statistics Netherlands. Dillman, D. A. (2008). Internet, mail and mixed-mode surveys: The tailored design method. Hoboken, NJ: Wiley. Engelkamp, J. in Zimmer, H. D. (1994). The human memory: A multimodal approach. Gottingen: Hogrefe & Huber Publishers. Engle, R. W., Tuholski, S. W., Laughlin, J. E., in Conway, A. R. A. (1999). Working memory, short-term memory, and general fluid intelligence: A latent variable approach. Journal of Experimental Psychology: General, 128, 309-331. Ericsson, K. A. in Delaney, P. F. (1999). Long-term working memory as an alternative to capacity models of working memory in everyday skilled performance. V: A. Miyake & P. Shah (URs.), Models of working memory. Mechanisms of active maintenance and excecutive control. Cambridge: Cambridge University Press. Ericsson, K. A. in Kintsch, W. (1995). Long-term working memory. Psychological Review, 102(2), 211-245. Ericsson, K. A. in Kintsch, W. (2000). Shortcomings of generic retrieval structures with slots of the type that Gobet (1993) proposed and modelled. British Journal of Psychology, 91, 571-590. Ericsson, K. A., Patel, V. in Kintsch, W. (2000). How experts' adaptation to representative task demands account for the expertise effect in memory recall: Comments on Vicente and Wang (1998). Psychological Review, 107(3), 578-592. Fellegi, I. P., in Holt, D. (1976). A Systematic Approach to Automatic Edit and Imputation. Journal of the American Statistical Association, 71,17-35. Finke, R. (1985). Theories relating mental imagery to perception. Psychological Bulletin, 98, 236-259. Giesen, D. (2004). Evaluation Plan for the Dutch Structural Business Statistics Questionnaires: Using Output to Guide Input Improvements. V: P. Prufer, M. Rexroth, F. Jackson Fowler, Jr., (ur), Proceedings of the 4th Conference on Questionnaire Evaluation Standards, QUEST 2003 (str. 73-80). Mannheim: ZUMA. Gobet, F. (1998). Expert memory: a comparison of four theories. Cognition, 66,115-152. Gobet, F. in Clarkson, G. (2004). Chunks in expert memory: Evidence for the magical number four... or is it two? Memory, 12(6), 732-747. Gobet, F. in Simon, H. A. (2000). Five seconds or sixty? Presentation time in expert memory. Cognitive Science, 24(4), 651-682. Gobet, F. in Waters, A. J. (2003). The role of constraints in expert memory. Journal of Experimental Psychology: Learning, Memory, and Cognition, 29(6), 1082-1094. Granquist, L. (1995). Improving the Traditional Editing Process. V: B. G. Cox, D.A. Binder, B.N. Chinnappa, A. Christianson, M. J. Colledge, in P.S. Kott (ur), Business Survey Methods (385-402). New York: Wiley-lnterscience. Godbout, S., Becaucage, Y. in Turmelle, C. (2011) Achieving Quality and Efficiency Using a Top-Down Approach in the Canadian Integrated Business Statistics Program. Ljubljana: Predstavitev na Work Session on Statistical Data Editing. Groves, R. M. (1989). Survey Errors and Survey Costs. New Jersey: John Wiley & Sonc, Inc.. Hedlin, D. (2003). Score Functions to Reduce Business Survey Editing at the U.K. Office for National Statistics. Journal of Official Statistics, 19 (2), 177-199. Hedlin, D. (2009). How to prioritise recontacts. Prispevek na konferenci 2009 European Establishment Statistics Workshop, Stockholm, Svedska. Harwig, P. (2009). How to use edit staff debriefings in questionnaire design. Prispevek na konferenci 2009 European Establishment Statistics Workshop, Stockholm, Svedska. Hawkes, T. (2011). Imrpoving efficiency by introducing macro editing in Statistics New Zealand business performance surveys. Ljubljana: Predstavitev na Work Session on Statistical Data Editing. Hidiroglou, M. A., & Berthelot, J. M. (1986). Statistical editing and imputation for periodic business surveys. Survey Methodology, 12(1), 73-83. Hooper, E. in Lewis, D. (2010). The appliction of selective editing to the ONS Monthly Business Survey. Helsinki: Prispevek na European Conference on Quality in Official Statistics. Hullinger, B. in Kilchman, D. (2007). Data Preparation for Business Surveys. Prispevek na švicarskem statističnem srečanju (Swiss Statistical Meeting). lives, M. in Laitila, T. (2008). Probabilty Sampling Approach to Editing. Rim: Prispevek na European Conference on Quality in Official Statistics. Kintsch, W. (1998). Comprehension: A Paradigm for Cognition. New York: Cambridge University Press. Kosslyn, S. M. (2005). Mental images and the brain. Cognitive Neuropsychology, 22(3/4), 333-347. Lawrence, D. in McKenzie (2000). The General Application of Significance Editing. Journal of Official Statistics, 16(3), 243-253. Lewis, D., Al-Hamad, A., in Silva, P.L., (2009). Assessing the Impact of Selective Editing on Data Quality. Vabljeno predavanje na Conference of European Statisticians, UNECE Work Session on Statistical Data Editing, WP42. Neuchatel, Švica. Logie, R. H., Zucco, G. in Baddeley, A. D. (1990). Interference with visual short-term memory. Acta Psychologica, 75, 55-74. Lorenc, B. (2006). Two Topics in Survey Methodology: Modelling the Response Process in Establishment Surveys; Inference from Nonprobability Samples Using the Double Samples Setup Doktorska dizertacija. Stocholm: Stockholm University, Department of Statistics. Luži, O., Di Zio, M., Guarnera, U., De Waal, T., Pannekoek, J., Hoogland, J., Hulliher, B., in Kilchmann, D. (brez letnice). Recommended Practices for Editing and Imputation in Cross-Sectional Business Surveys. ISTAT, CBS, SFSO, EUROSTAT. Pridobljeno s http://epp.eurostat.ec.europa.eu/portal/page/portal/quality/documents/RPM_EDIMBUS.pdf Malmberg, K.J. (2008). Recognition memory: A review of the critical findings and an integrated theory for relating them. Cognitive Psychology, 57 (4), 335-384. Miller, G. A. (1956). The magical number seven plus or minus two: Some limits on our capacity for processing information. Psychological Review, 63, 81-97. Norberg, A. (2009). Editing at Statistics Sweden - Yesterday, today and tomorrow. Prispevek na konferenci 2009 European Establishment Statistics Workshop, Stockholm, Švedska. Ollila, P. (2011). Bringing results of the E&l project to the production of statistics. Ljubljana: Predstavitev na Work Session on Statistical Data Editing. Pannekoek, J. in de Waal, T. (2005). Automatic Edit and Immputation for Business Surveys: The Dutch Contribution to the EUREDIT Project, 21(2), 257-286. Pylyshyn, Z. W. (2002). Mental imagery: In search of a theory. Bahavioral and Brain Sciences, 25,157-238. Raaijmakers, J. G. W. in Shiffrin, R. M.(2002). Models of Memory, V: H. Pashler, & D. Medin (ur) Stevens Handbook of Psychology 3rd Edition, Vol. 2: Memory and Cognitive Processes (43-76). Reed Hunt R. in Henry C. E. (2004). Fundamentals of Cognitive Psychology, McGraw-Hill Publications. Reingold, E. M., Charness, N., Pomplun, M., & Stampe, D. M. (2001). Visual span in expert chess players: evidence from eye movements. Psychological Science, 12(1), 48-55. Richman, H. B., Staszewski, J. J., & Simon, H. A. (1995). Simulation of expert memory with EPAM IV. Psychological Review, 102, 305-330. Rivière, P. (2002). What Makes Business Statistics Special? International Statistical Review, 70(1), 145-159. Rosch, E. (1981) Categorization of natural objects. Annual Review of Psychology, 32, 89-115. Rugg, M. D., in Cuuran, T. (2007). Event-related potentials and recognition memory. Trends in Cognitive Sciences, 11 (6), 251-257. Salthouse, T. A., Babcock, R. L., Skovronek, E., Mitchell, D. R. D. IN Palmon, R. (1990). Age and experience effects in spatial visualization. Developmental Psychology, 26(1), 128-136. Scholtus, S. (2011). Automatic Editing with Soft Edits. Ljubljana: Predstavitev na Work Session on Statistical Data Editing. Seljak, R. (2005). Urejanje podatkov - novi pristopi na Statističnem uradu Republike Slovenije. Prispevek na Statističnih dnevih. Seljak, R. (2008). Combining the tax and the survey data for the purposes of the short-term statistics production; Paper presented at ESSnet-ISAD workshop on Combination of surveys and administrative data, Vienna, Austria, 29-30 May 2008. Seljak, R., in Špeh, T. (2005). Automatic Editng System for Two Short-term Business Surveys; Paper presented at UNECE Work Session on Statistical Data Editing; Ottawa, Canada, 16-18 May 2005. Silva, P.L.N., Lewis, D., Al-Hamad, A. in Zong, P. (2009). Investigating selectve editing ideas towards improving editing in the UK Retaul Sales Inquiry. Stockholm: Prispevek na European Establishment Statistics Workshop. Skentelbery, R., Finselbach, H. in Dobbins, C. (2011). Improving the efficiency of editing for ONS business sureveys. Ljubljana: Predstavitev na Work Session on Statistical Data Editing. Snijkers, G. (2008) Getting Data for Business Statistics: A Response Model, Prispevek na konferenci Q2008, European Conference on Quality in Official Statistics, Rim, Italija. Steyvers, M., Griffiths, T.L. in Dennis, S. (2006). Probabilistics inference in human semantic memory. Trends in Cognitive Sciences, 10,327-334. Todorov, V., Tempi, M. in Filzmoser, P. (2011). Software for multivariate outlier detection in survey data. Ljubljana: Predstavitev na Work Session on Statistical Data Editing. Tourangeau, R. (1984) Cognitive Science and Survey Methods. V: T.B. Jabine, M. Straf, J. M. Tanur in R. Tourangeau (ur), Cognitive Aspects of Survey Methodology: Building a Bridge Between Disciplines, (str. 73-100), Washington: National Academy Press. Tourangeau, R., Rips L. J., in Rasinski, K. A. (2000) The Psychology of Survey Response. Cambridge: Cambridge University Press. Tulving, E. (1972). Episodic and semantic memory. Organization of memory,1, 381-403. Vicente, K. J. (2000). Revisiting the constraint attunement hypothesis: A reply to Ericsson, Patel, & Kintsch (2000) and Simon & Gobet (2000). Psychological Review, 107(3), 601-608. Vicente, K. J., in Wang, J. H. (1998). An ecological theory of expertise effects in memory recall. Psychological Review, 105(1), 33-57. Willimack, D. K., Lyberg, L., Martin, J., Japec, L., in Whitridge, P. (2004). Evolution and Adaptation of Questionnaire Development, Evaluation, and Testing Methods for Establishment Surveys. V: S. Presser, J. M. Rothgerb, M. P. Couper, J. T. Lessler, E. Martin, J. Martin in E. (ur), Methods for Testing and Evaluating Survey Questionnaires (str. 385-407). Hoboken, NJ: Wiley-lnterscience. Willimack, D.K., in Nichols, E. (2010). Sources of measurement errors in business surveys. Journal of Official Statistics, 26 (1), 3-24. Zatorre, R. J., Halpern, A. R., Perry, D. W., Meyer, E. IN Evans, A. C. (1996). Hearing in the mind's ear: A PET investigation of musical imagery and perception. Journal of Cognitive Neuroscience, 8(1), 29-46.