OD PODATKOV DO INFORMACIJ ZA REHABILITACIJO PRIHODNOSTI FROM DATA TO INFORMATION FOR REHABILITATION OF THE FUTURE
doc. dr. Gaj Vidmar
Inštitut Republike Slovenije za Rehabilitacijo, Ljubljana
Povzetek
V prispevku so nanizana osebna razmišljanja o možnostih razvoja vseh faz dela s podatki v rehabilitaciji in z njo povezanih področjih oziroma strokah, oprta na besede priznanih mislecev in navedbe uveljavljenih virov. Že današnja tehnologija omogoča bistven napredek pri zbiranju, analizi, prikazu in interpretaciji podatkov, zato prihodnje desetletje vidim predvsem kot obdobje udejanjanja teh možnosti preko razširjanja in zviševanja ravni znanja vpletenih. Tudi spoznavni temelj za to je že dolgo na voljo, in sicer v obliki univerzalne znanosti o podatkih - statistike. Želim si, da uvedba statističnega mišljenja in uporaba sodobnega statističnega znanja, podprta z zavezanostjo uporabi informacijske tehnologije v dobrobit uporabnikov rehabilitacijskih storitev in splošne javnosti, v vse faze rehabilitacije - od načrtovanja obravnave in raziskav preko spremljanja izidov in vrednotenja raziskovalnih dosežkov do vodstvenega odločanja in zdravstvene politike - ne bi bila le utopična želja posameznika, pač pa bo postala eden od ciljev celotnega izobraževalnega sistema, eno od načel organizacije dela v celotnem zdravstvu in ena od osebnih vrednot vseh, ki delamo na področju rehabilitacije.
Ključne besede:
bolnišnični informacijski sistemi, poročanje, odločanje, načrtovanje raziskav, biostatistika, informacijska družba, upravljanje znanja
Summary
The paper strings out some personal thoughts on possibilities for development in all the phases of handling data in rehabilitation and related fields and practices, grounded in words of acknowledged thinkers and references to established sources. The technology of today offers sufficient possibilities for markedly improving collection, analysis, display and interpretation of data, so I see the forthcomming decade mainly as the period of making these possibilities come true by means of expanding and increasing the knowledge of everyone involved. The conceptual basis for all this has long been around, namely in the form of the universal science of data - statistics. I wish statistical thinking and application of contemporary statistical knowledge, backed up by commitment to the use of information technology for the benefit of the rehabilitees and the general public, throughout all the phases of rehabilitation-from planning interventions and research through appraising outcomes and research achievments to managerial decisions and healthcare policy - were not only an utopian dream of an individual, but rather became one of the goals of the whole education system, one of the principles of work organisation of the whole healthcare system, and one of personal values of everyone working in the field of rehabilitation.
Key words:
hospital information systems, reporting, decision making, research design, biostatistics, information society, knowledge management
UVOD
»Statistično mišljenje bo nekoč tako nujno za učinkovito državljanstvo kot zmožnost brati in pisati«, je že konec 19. stoletja zapisal vizionarski pisatelj Herbert G. Wells (18661946). Nanj se sicer spomnimo predvsem kot na »izumitelja« časovnega stroja, pa tudi kot na panteista in utopičnega socialista, zato v resnici ni čudno, da se ta njegova misel po več kot stoletju še vedno ni uresničila. Toda nekateri še nismo izgubili upanja in izkoriščamo redke priložnosti, ko nam je dovoljeno sanjati na glas.
Rdeča nit pričujočega razmišljanja so navedbe priznanih statistikov, matematikov in drugih mislecev. Zavedam se, da je bila Newtonova maksima o »stanju na ramenih velikanov« v določeni meri že izrečena kot manipulacija in da se jo je kasneje velikokrat zlorabilo, a ravno vera v kumulativnost znanja ter enovitost in splošnost znanstvene metode je vodilo statistikov, ki se identificiramo z neskromno vlogo povezovalcev znanosti in tehnologije ter nemajhno družbeno odgovornostjo za razumne odločitve na podlagi dejstev (1).
SEDANJOST
Stanje ni rožnato - pred desetletjem in pol je uvodnik v enem najpomembnejših medicinskih časopisov stanje raziskav z vidika zbiranja in analize podatkov označil kot škandalozno (2) in pretresljivega izboljšanja še ni opaziti (3, 4). Statistično svetovanje medicinskim raziskovalcem se vsepovsod priporoča, a zelo različno udejanja, in na tiste, ki tako svetovanje lahko nudimo, se raziskovalci pogosto obrnejo prepozno, torej ko so podatki že zbrani (3).
Ioannidis (5, 6) opozarja, da selektivno objavljanje študij s »statistično značilnimi« rezultati nujni vodi v poplavo lažnih odkritij. Tovrstne psevdostatistične medicinske raziskave je s hamletovsko rabo besede gniloba v svojem neusmiljenem lakoničnem slogu pred leti ošvrknil tudi ugledni britanski tednik The Economist (7). Še in še bi lahko našteval na to temo, a zagotovo ne bi presegel pronicljivosti sporočila, ki ga je ob svoji formalni upokojitvi (statističnemu in ostalemu) svetu poslal John W. Tukey (1915-2000), po mnenju marsikoga eden najplodovitejših, najbistrejšh in najširše vplivnih umov človeštva: kombinacija nekaj podatkov in hude potrebe po odgovoru ne zagotavlja, da je moč iz razpoložljivih podatkov izluščiti razumen odgovor (8). Z upanjem, da na tem področju vendarle kdaj dočakamo kaj novo sub sole, naj navedem le še, da se je nad »raziskovanje zaradi raziskovanja« pritoževal že »oče računalnika« Charles Babbage (1792-1871) leta 1830 (9).
Nekaj podobnega velja za področja poslovnega poročanja (BI
-	Business Intelligence), sistemov za podporo odločanju (DSS
-	Decision Support Systems) in poslovodnih informacijskih sistemov (MIS - Management Information Systems), v znatni meri pa tudi za številne oblike upravljanja z znanjem (KM -Knowledge Management). Eden od gurujev informacijskega posla, Stephen Few (www.perceptualedge.com), namreč opozarja, da so ogromne investicije v laikom in managerjem všečno programje obsojene na neuspeh, če razvoja ne vodi znanje s področja analize in prikaza podatkov (10).
A več o prikazu podatkov malo kasneje. Na pot boljšega dela s podatki naj nas pospremita veliki matematik in astronom Pierre Simone de Laplace (1749-1827) s prepričanjem, da so najpomembnejša vprašanja življenja v največji meri zgolj problemi verjetnosti (11), in Bradley Efron (1938-), utemeljitelj statističnih metod na podlagi ponovnega vzorčenja (bootstrap) in eden najpomembnejših živečih statistikov, z ugotovitvijo, da je statistika najuspešnejša informacijska znanost, zato so tisti, ki jo ignorirajo, obsojeni na to, da jo ponovno odkrijejo. Zaupajmo torej Tukeyevi definiciji statistike kot univerzalne znanosti o podatkih.
IZOBRAŽEVANJE
Beseda pedagogika in njene izpeljanke izhajajo iz starogrške besede paidagogos, ki je pomenila predanega in najvišje
usposobljenega sužnja, čigar dolžnost je bila poučevanje gospodarjevih otrok, vključno z oblikovanjem zaželenega vedenja in družbeno koristnih navad. Eden od razlogov za stanje statističnega (ne)znanja na področju medicine in drugod je, da se je poučevanje marsikje močno oddaljilo od omenjenega antičnega modela oziroma se je celo sprevrglo v njegovo nasprotje, saj marsikje statistične vsebine poučujejo ljudje, ki za to navkljub habilitaciji iz področja, ki naj bi vključevalo statistiko oziroma metodologijo, v resnici niso usposobljeni in/ali služijo izključno svojim interesom namesto interesom poučevanih. V nekem drugem okolju je Hotelling to kot pereč problem izpostavil že leta 1949 (12), pri nas pa so se pogoji za korenito izboljšanje stanja končno vzpostavili šele v 21. stoletju, odkar na ljubljanski univerzi obstaja podiplomski študij statistike. Na ljubljanski Medicinski fakulteti in na Oddelku za fizioterapijo ljubljanske Zdravstvene fakultete statistične oziroma metodološke vsebine sicer že lep čas poučujemo »pravi« statistiki in sta-tističarke, zato upam zlasti, da bodo usposobljeni statistiki v prihodnjih letih začeli prevzemati pedagoške obveznosti tudi na številnih drugih ustanovah, ki izobražujejo prihodnje rehabilitacijske strokovnjake.
Uporaba statistike pač zahteva razumevanje osnov verjetnostnega računa in posebnosti statistične logike, hkrati pa se statistika v informacijski dobi izredno hitro razvija. Zato mora biti na vseh področjih zdravstva, vključno z rehabilitacijo, vsem zainteresiranim, tudi tistim izven akademskih ustanov, na voljo strokovno statistično svetovanje (13). Inštitut za rehabilitacijo je v tem pogledu - z zaposlitvijo avtorja tega prispevka - svetal zgled, ki mu zaenkrat še ni sledila nobena druga bolnišnica v Sloveniji. Tudi glede tega v bližnji prihodnosti upam na pozitivne spremembe.
A odgovornost za samoizobraževanje ostaja in bo z vsakim dnem informatizacije življenja in dela še večja. Zastarele veščine ročnega izračunavanja dveh ali treh statističnih testov ali »kuharski recepti« za klikanje po okensko usmerjenih statističnih programskih paketih brez razumevanja žal še lahko kratkoročno koristijo karieri posameznika v statistično nerazvitem okolju, a upam, da bo kmalu prevladal študij sodobnih, duhovitih in k problemskemu razmišljanju usmerjenih učbenikov (14, 15). Tudi na pomanjkanje ali starinskost slovenske literature se ne da več izgovarjati, saj imamo vsi brezplačno na voljo spletni učbenik osnov uporabne statistike, ki je uspešno ujel ravnotežeje med razumljivostjo širokemu bralstvu in matematično korektnostjo (16), v bližnji prihodnosti pa gre pričakovati izid še kakšnega sodobnega učbenika s področja biostatistike.
NEKAJ ZAPOVEDI
Statistična analiza podatkov je tako široko in zahtevno področje, da že kratki napotki za kritično branje, kaj šele izvajanje in poročanje o rezultatih statističnih analiz presegajo okvir tega prispevka. Za razpravo o posameznih področjih stati-
stike je še manj možnosti, saj imajo že temeljni učbeniki statistike v medicini pogosto skoraj tisoč strani (17, 18). Zato navajam le nekaj temeljnih in splošnih priporočil v dialektičnem duhu plodnega sodelovanja nasprotij, za katera upam, da se jih bo v bližnji prihodnosti držalo vse več uporabnikov statistike oziroma raziskovalcev na področju rehabilitacije:
•	V eni študiji skušajmo odgovoriti kvečjemu na nekaj vprašanj, po možnosti le eno glavno. A hkrati se ne sramujmo drznih hipotez in sklepov, ki nasprotujejo uveljavljenim prepričanjem.
•	Po možnosti opravimo izračun potrebne velikosti vzorca glede na cilje raziskave in podatke iz literature, da ne bi zapravljali časa udeležencev in dragocenih sredstev z raziskavami s prenizko statistično močjo. A hkrati začrtanemu poteku dela ne sledimo slepo, saj statistična šala pravi, da Kolumbovega odkritja Amerike ne moremo priznati, saj ni bilo v načrtu raziskave.
•	Poskrbimo za ustrezen postopek zbiranja podatkov z vidika načrtovanja poskusov, randomizacije in merskih značilnosti ter naredimo vse, da bodo podatki čimbolj popolni in natačni. A hkrati se ne bojmo uporabiti sodobnih statističnih metod nadomeščanja manjkajočih podatkov.
•	Zbrane podatke najprej preglejmo - z uporabo sodobnih grafičnih metod prikažimo porazdelitve vseh obravnavanih spremenljivk, morebitne povezave med spremenljivkami ter odkrijmo morebitne odstopajoče podatke, ki jih je potrebno preveriti oziroma jih je upravičeno izločiti. A hkrati ne zapadimo v modeliranje šuma (capitalisation on chance) ter postavljanje in preverjanje hipotez na istih podatkih.
•	Optimalno izkoristimo razpoložljivo informacijo z uporabo metod, ki so najučinkovitejše za podatke, kakršne imamo na voljo (npr. binarne, rangirane, krnjene, časovno odvisne, nepopolne ipd.). A hkrati uporabljajmo naj-prejprostejše in najširše razumljive metode, ki še nudijo veljavne odgovore na zastavljena vprašanja.
•	Upoštevajmo načela kakovostnega prikaza podatkov, da tabele in grafikoni, s katerimi bomo predstavili rezultate, ne bodo načičkani in preveč številni, a bodo hkrati na najširše razumljiv način posredovali vso želeno informacijo.
DOBRA SLIKA LAHKO POVE VEČ KOT TISOČ BESED
Zaradi svoje izobrazbene podlage, ki vključuje psihologijo zaznavanja, svojih raziskovalnih interesov in bržčas tudi podedovanih oziroma zgodaj privzgojenih estetskih nagnjenj (19) si za dvig nivoja statistične prakse na področju rehabilitacije še posebej prizadevam z vidika kakovostnega prikaza podatkov. Podobno kot na širšem področju dela s podatki, je primerna literatura na volju že dolgo (20), a stanje »upodabljanja« podatkov v Sloveniji se mi zdi še dlje od idealnega kot stanje njihovega »preračunavanja«. Z informatizacijo
življenja in napredkom informacijske tehnologije sta se zaže-lenost in dostopnost izdelave statističnih poročil in grafičnih prikazov podatkov namreč povečala neprimerno bolj, kot se je dvignila stopnja statistične pismenosti.
V tako pomembni dejavnosti, kot je zdravstvo, si državni organi, javni zavodi, ponudniki programja ter zdravniki, informatiki in vsi drugi vpleteni strokovnjaki delijo tako odgovornost, da ne izvajajo neustreznih statističnih analiz, ki vodijo do neustreznih sklepov, kot odgovornost, da ne izdelujejo risbosmetja (chartjunk (21)), ki zavaja uporabnike informacij. Tudi tistim, ki se jim zdi paradigma rehabilitacije (medicine, fizioterapije, zdravstvene nege idr.), podprte z dokazi, premalo oprijemljiva, nudijo pretresljivi primeri iz prakse, kjer statistika in statistična grafika žal nista pravočasno dobili priložnosti (22), dovolj dokazov, da bi več tovrstnega znanja na vseh nivojih zdravstvenega sistema lahko veliko prispevalo k tako opevani kakovosti.
Začetne korake v pravo smer na področju rehabilitacije (23) moramo nadaljevati in nadgrajevati. Zaradi javnega interesa in normativnih ukrepov na področju nadzora porabe zdravil bo ena prvih priložnosti in ključnih preizkušenj na našem Inštitutu »elektronski bolniški list«. Nedvomno je le vprašanje časa, kdaj v prihodnjem desetletju bo vključen v bolnišnični informacijski sistem, a usodno vprašanje - ne le pacientove koristi, ki je deklarirano najpomembnejša, pač pa tudi poklicne etike vseh vpletenih strok - je, ali bo nastal po načrtu ustrezno usposobljenih ljudi z upoštevanjem znanstvenih spoznanj o analizi in prikazu podatkov (24).
IN VENDAR SE PREMIKA
Veliko, če ne celo večina, problemov odločanja na podlagi podatkov v rehabilitaciji vsekakor sodi v okvir, ki ga je Tukey poimenoval neudobna znanost (uncomfortable science; http://en.wikipedia.org/wiki/Uncomfortable_science). In tudi, če jih ne pesti premalo podatkov za tvorbo in preskušanje domnev, so študije v rehabilitaciji pogosto opazovalne, torej podobne epidemiološkim, kar prinaša morda še hujše probleme. Zaradi pomanjkljivosti pri analizi podatkov se lahko navkljub znatnim vloženim sredstvom, velikemu številu opazovanih oseb in zanimanju splošne javnosti za izsledke namreč čez čaz izkaže, da so bile »ugotovitve« takih »veleštudij« zmotne ali celo hudo škodljive (25). A tam, kjer pesimisti vidijo probleme, optimisti vidimo izzive in na morda najpomembnejšega med njimi - motivirati »starejše« in/ali »uspešne« ljudi za izobraževanje, samokritičnost in spreminjanje navad - nenazadnje poskušamo premagovati tudi s tem prispevkom.
Vzpodbud je več kot dovolj. Zaradi prostorskih omejitev izpostavljam le pogled, ki morda najbolje simbolizira pomen tradicije za prihodnot - na Dunaj. Tam v futuristični stavbi onkraj Donave z razgledom na prečudovito staro mesto
domuje Center za raziskave navidenzne resničnosti in vizu-alizacije VRVis (http://www.vrvis.at/), ki izjemno uspešno prenaša znanje in tehnologijo v prakso na področju vizualne analize v naravoslovju in tehniki ter večrazsežne medicinske vizualizacije v povezavi s simulacijo. In v »cesarskem mestu« domuje še nekaj posameznikov in organizacij, ki v bolnišnicah in drugod uveljavljajo najnaprednejše prakse sprotne analize in prikaza podatkov (26).
Predstavljam si, da je marsikdo, ki to bere, nekoliko razočaran, saj se bliža konec prispevka in meni, da sem kljub temu, da smo postavljeni v okvir (statistične) analize podatkov v rehabilitaciji, zapisal premalo »konkretnega« in »specifičnega«. Predstavljam si, da je razočaranje posebej prisotno pri tistih, ki so že v prvih stavkih pričakovali spopad ti. Rascheve analize (četudi postavljene v širši kontekst teorije odgovora na postavko - IRT) in klasične testne teorije (oziroma še konkretneje, npr. spopad lestvic AMPS in FIM). A tega res ne zaznavam kot osrednji problem »življenja podatkov«. Mnogo bolj potrebno se mi zdi »spustiti se« od statistike kot informacijske znanosti na nivo informacijske tehnologije, saj so ocene parametrov postavk in drugih spremenljivk v tovrstnih modelih veljavne in uporabne le toliko, kot so ažurni podatki, iz katerih so izračunane. Premagujoč skušnjavo, da bi se zatekal k sočnemu uličnemu izrazju, želim čim bolj živo poudariti, da nam bo, če/ko bomo imeli sproti na voljo izobilje odličnih podatkov, lahko početi to ali ono. Tudi, če se potem zgodi, da optimalno ažurni in točni modeli razkrijejo početja, ki jih sami naročniki in uporabniki modelov želijo prikriti - kot se je zgodilo npr. v primeru vsebinsko in tehnološko vrhunske statistične analize časovnih vrst za potrebe dobaviteljev največjih ameriških trgovskih verig (27) - bo vsem skupaj veliko lažje, kot če bi še naprej živeli v pomanjkanju podatkovnih surovin za takšno ali drugačno statistično proizvodnjo znanja.
Tudi nasprotja med (še prevladujočo) klasično (ortodok-sno, frekventistično, fisherjansko) statistiko in bayesov-sko statistiko (statistiko v povezavi s teorijo odločanja, računanjem s subjektivnimi verjetnostmi), ki ga nekateri vidijo kot življenjsko usodnega (28), nisem izpostavil kot bistvenega vprašanja prihodnosti, saj si želim predvsem, da bi se v naslednjih letih čim več ljudi te problematike sploh zavedelo, se o njej poučilo in o njej zmoglo in hotelo razmišljati. - Če bo potem v evroligi ali ligi prvakov zmagala ena ali druga vrhunska ekipa, je za športnega navdušenca »sladka skrb« oziroma »drugorazredna tema« v primerjavi s propadanjem športnih objektov, usihanjem osnovnih tekmovalnih sistemov in podobnimi tegobami »baze«, ki jim v tej primerjavi ustreza trenutno stanje statistične pismenosti v rehabilitaciji, medicini oziroma zdravstvu in celotni družbi.
Če se vrnemo k rabi podatkov v širšem smislu in pogledamo še drugam in še naprej, lahko vidimo širšo uporabo GIS oziroma prostorskih podatkov v rehabilitaciji. Informacijsko-komunikacijska tehnologija (v povezavi z GPS, njegovim
evropskim tekmecem Galileom ali kitajskim Beidoujem, ali pa kar obstoječo storitvijo sledenja uporabniku mobilnega telefona) bi nedvomno lahko (še) širše služila vključenosti in kakovosti življenja ljudi z omejenimi zmožnostmi oziroma posebnimi potrebami.
A ta tema naj ostane za drugo priložnost. Enako velja za informacijsko-tehnološke in statistično-analitične vidike uporabe Mednarodne klasifikacije funkcioniranja, zmanjšane zmožnosti in zdravja. Izpuščam tudi problematiko izvirnosti, avtorstva, citiranja in ostalega, kar se ožje tiče znanstvenega objavljanja v rehabilitaciji. Ostane mi le še, da sklenem svoje razmišljanje o poteh od podatkov do znanja za boljšo prihodnost (rehabilitacije), za kar je primerno navdihujoče geslo ljudi in časov, s katerimi se sicer v splošnem nikakor ne identificiram, a zato njihovemu sporočilu nisem nič manj dolžan slediti: bodimo realni - zahtevajmo nemogoče!
Literatuna:
1.	Keller-McNulty S. From data to policy: scientific excellence is our future. Presidential adress. The American Statistician 2007;102(478):395-9.
2.	Altman DG. The scandal of poor medical research. BMJ 1994;308:283-4.
3.	Altman DG, Goodman SN, Schroter, S. How statistical expertise is used in medical research. JAMA 2002; 287(21):2817-20.
4.	Rigby AS. Statistical reviewing for disability and rehabilitation. Disability & Rehabilitation 2008; forthcoming article. DOI 10.1080/09638280802136837
5.	Ioannidis JPA. Contradicted and initially stronger effects in highly cited clinical research. JAMA 2005;294(2):218-22.
6.	Ioannidis JPA. Why most published research findings are false. PLoS Medicine 2005;2(8):e124.
7.	Medical statistics, Signs of the times. Why so much medical research is rot. The Economist 22.2.2007.
8.	Tukey JW. Sunset salvo. The American Statistician 1986;40(1):72-6.
9.	Babbage C. Reflections on the Decline of Science in England, and on Some of its Causes. London: Fellowes and Booth, 1830.
10. Few S. The information cannot speak for itself. Intelligent Enterprise Jul 2004. URL http://www.perceptua-ledge.com/articles/ie/information.pdf
11.	Marquis de Laplace, P-S. Théorie Analytique des Probabilités. Paris: V.Courcier, 1812.
12.	Hotelling H. The Place of Statistics in the University. V: Neyman J (ur.). Proceedings of the Berkeley Symposium on Statistics and Probability. Berkeley, University of California Press, 1949:21-40.
13.	Stare J. Slovenska medicina potrebuje biostatistični center. Isis 2001;10(1):51-2.
14.	Bland JM. An Introduction to Medical Statistics (3. izd.). Oxford: OUP, 2000.
15.	Howell D. Statistical methods for psychology (6. izd.). Belmont: Duxbury, 2007.
16.	Košmelj K. Uporabna statistika (2. dopolnjena izd.). Ljubljana: Biotehniška fakulteta, 2007. URL http://www. bf.uni-lj.si/fileadmin/groups/2721/Uporabna_statisti-ka_okt_2007/Uporabna_statistika_01.pdf
17.	Fisher LD, van Belle G. Biostatistics: a Methodology for the Health Sciences. New York: Wiley, 1993.
18.	Armitage P, Berry G, Matthews JNS. Statistical methods in medical research (4. izd.) Oxford: Blackwell, 2002.
19.	Vidmar J. Esej o lepoti. Trst: Založništvo tržaškega tiska, 1981.
20.	Wainer H, Thissen D. Graphical data analysis. Annual Review of Psychology 1981;32:191-241.
21.	Tufte ER. The Visual Display of Quantitative Information (16. natis). Chesire: Graphics Press, 1998.
22.	Mohammed MA, Cheng KK, Rouse A, Marshall T. Bristol, Shipman, and clinical governance: Shewhart's forgotten lessons. The Lancet 2001;357:463-7.
23.	Vidmar G, Burger H, Marinček Č, Cugelj R. Analiza podatkov o ocenjevanju z Lestvico funkcijske neodvisnosti na Inštitutu Republike Slovenije za rehabilitacijo. Informatica Medica Slovenica 2008;13(1):21-32.
24.	Powsner SM, Tufte ER. Graphical summary of patient status. The Lancet 1994;344:386-9.
25.	von Elm E, Egger M. The scandal of poor epidemiological research. Reporting guidelines are needed for observational epidemiology. BMJ 2004;329:868-9.
26.	Aigner W, Miksch S. CareVis: integrated visualization of computerized protocols and temporal patient data. Artificial Intelligence in Medicine 2006;37(3):203-18.
27.	Andres F. Demand Planning and Forecasting with POS Data: a Case Study. Journal of Business Forecasting Methods and Systems 2008;27(4):29-32.
28.	Ziliak ST, McCloskey DN. The Cult of Statistical Significance. How the Standard Error Costs Us Jobs, Justice and Lives. Ann Arbor: University of Michigan, 2008.