Zaključno poročilo o rezultatih raziskovalnega programa v obdobju 2004-2008 Oznaka poročila: ARRS_ZV_RPROG_ZP_2008/861 ZAKLJUČNO POROČILO O REZULTATIH RAZISKOVALNEGA PROGRAMA V OBDOBJU 2004-2008 A. PODATKI O RAZISKOVALNEM PROGRAMU 1. Osnovni podatki o raziskovalnem programu Šifra programa P3-0154 Naslov programa Metodologija za analizo podatkov v medicini Vodja programa 8992 Janez Stare Obseg raziskovalnih ur 17.000 Cenovni razred B Trajanje programa 01.2004 - 12.2008 Izvajalke programa (raziskovalne organizacije in/ali koncesionarji) 381 Univerza v Ljubljani, Medicinska fakulteta B. REZULTATI IN DOSEŽKI RAZISKOVALNEGA PROGRAMA 2. Poročilo o realizaciji programa raziskovalnega programa1 Skupina je skozi obdobje financiranja doživljala kadrovske spremembe, pravzaprav dopolnitve. Marca 2007 je doktoriral Gaj Vidmar, ki je bil tako ali tako ves čas pri nas, le da formalno ni mogel biti član skupine dokler ni opravil doktorata. Prihod dr. Lare Lusa je skupino, njen biostatistični del, še okrepil. Za skupino predstavlja njen prihod (pri nas je asistentka) priznanje, saj je prišla sem iz Milana kot uveljavljena raziskovalka na področju bioinformatike. Kot najpomembnejši podatek naj navedem, da je skupina v obdobju 2004-2008 objavila 72 člankov v mednarodnih revijah s faktorjem vpliva (IF - vir COBISS), od tega 68 iz skupine 1.01 (Izvirni znanstveni članek) in 4 iz skupine 1.03 (Kratki znanstveni prispevek). Če ne upoštevamo Lare Lusa, ki je pri nas od februarja 2008, je teh člankov 10 manj. Poleg tega smo objavili še 13 člankov iz skupine 1.01 brez IF in 7 preglednih člankov (1.02). Pomembno se nam zdi, da smo imeli tudi precej vabljenih predavanj na mednarodnih konferencah (4) in na tujih univerzah (7) (podatki brez Lare Lusa, ki je imela 3 takšna predavanja). Ocenjujem, da gre za precejšnjo aktivnost in da so drugi dosežki (ki jih ni malo) ob tem manj pomembni. V nadaljevanju podajam vsebinsko poročilo. Cilji programa so bili podani po treh vsebinskih sklopih in tako poročam tudi o realizaciji: Biostatistika: Najbolj intenzivno smo delali na področju relativnega preživetja, kjer smo objavili dve popolnoma novi metodi in pravkar pripravljamo še eno. Ob tem so bili članki objavljeni v dveh zelo uglednih revijah s področja statistike oz. biostatistike: Journal of the Royal Statistical Society (C) in Statistics in Medicine. S področja relativnega preživetja sta tudi članka objavljena v Computer Methods and Programs in Medicine in Computers in Biology and Program P3-0154 Stran 1 Zaključno poročilo o rezultatih raziskovalnega programa v obdobju 2004-2008 Medicine, ki sta obe v SCI. Oba se navezujeta na uporabo programja, ki smo ga pri nas izdelali (avtorica Maja Pohar Perme). Gre za edino takšno programje v svetu, saj pokriva praktično vse trenutno obstoječe metode na področju relativnega preživetja, kar je pomemben dosežek. Programje je napisano v jeziku R in je dostopno na spletu v knjižnici CRAN, ki jo vzdržuje organizacija R Foundation for Statistical Computing, Vienna, Austria (http://cran.r-project.org/). Metode relativnega preživetja so bile tudi tema doktorske naloge mlade raziskovalke Maje Pohar Perme. Nadaljevali smo tudi delo na merah pojasnjene variabilnosti za Coxov model in objavili članek v reviji Statistics in Medicine. Prav zdaj pa delamo na novem članku, ki bo opisal povsem novo mero, ki smo jo že predstavili na mednarodni konferenci ISCB in jobomo (nove rezultate) tudi letos na International Biometric Conference. Poleg tega smo v letu 2004 objavili še članek s področja krhkosti v Coxovem modelu v reviji Biometrical Journal, ki je seveda tudi v SCI. Nekaj več podrobnosti o vsebini raziskav na področju statistike je pri opisu vsebin posameznih člankov. Poleg tega smo se intenzivno ukvarjali z grafičnimi prikazi in o tem objavili tri članke. Grafični prikazi so bili tudi tema doktorske naloge Gaja Vidmarja. Posebej naj omenimo vabljeno predavanje prof. Stareta na mednarodni konferenci International Society for Clinical Biostatistics v Leidenu (avgust 2004) na temo relativnega preživetja, ki gotovo dokazuje kvaliteto našega raziskovalnega dela na področju biostatistike. Pomembnost naših raziskav se kaže tudi v tem, da z nami želi sodelovati vse več tujih znanstvenikov. Tako smo v letu 2006 vzpostavili stike z morda najmočnejšo biostatistično skupino v Evropi (in eno najmočnejših v svetu) na univerzi v Kopenhagnu, kjer je Maja Pohar Perme v letu 2007 gostovala 4 mesece. To sodelovanje je razširilo področje naših raziskav na večstanjske modele in Maja je že objavila dva članka na to temo, oba v oglednih revijah Statistics in Medicine in Lifetime data Analysis. Ocenjujemo, da smo na področju biostatistike storili zelo veliko, vsekakor več, kot smo načrtovali. Še posebej, če temu dodamo aplikativne članke, ki nenazadnje kažejo na sodelovanje, ki je pravzaprav končni cilj naših raziskav. Scientometrija: Bibliometrija ima pri nas že dolgo tradicijo, a smo se ji v preteklem obdobju malo manj posvečali. Glavni razlog je bil predvsem upokojitev prof. Adamiča, pomemben pa vsekakor tudi ta, da vzdrževanje specialne bibliografske zbirke ni več financirano. Zbirka je, ob enako pomembnem programskem orodju za avtomatsko analizo citiranosti, bistvenega pomena za bibliometrične raziskave in jo zato kljub vsemu vzdržujemo. V letu 2004 smo sistem za avtomatsko analizo citiranosti nadgradili z novim programskim vmesnikom za zajemanje podatkov o citiranosti publikacij v zbirki Biomedicina Slovenica. Novi vmesnik omogoča zajem podatkov iz zbirke Web of Science (proizvajalca Institute of Scientific Information - ISI) in nadomešča zajem iz zbirke Science Citation Index istega proizvajalca. Zbirka Web of Science (WoS) je raziskovalcem prosto dostopna na strežnikih Inštituta za informacijske znanosti v Mariboru, zato lahko podatke učinkovito preverjajo tudi sami. Glede na prejšnjo zbirko nova vključuje precej večje število revij, podatki v njej pa so ažurnejši. Novi programski vmesnik je omogočil povečanje kvalitete celotnega sistema za analizo citiranosti, pomembno pa so se znižali tudi stroški vzdrževanja. Poudariti želimo, da je izdelava takšnega vmesnika izjemno zahtevna naloga in da v svetu ne poznamo nič podobnega. Po tem je neke vrste avtomatizacijo vpeljal tudi IZUM v zbirko COBISS, vendar njihov pristop le uporablja funkcije, ki jih je ISI medtem vgradil v WoS. Te imajo kar nekaj pomanjkljivosti, predvsem na primer ne omogočajo analize citiranosti za članke, ki ni so v WoS in ne omogočajo izračunavanja čistih citatov na avtorja. Na področju raziskovanja medicinskih bibliografskih zbirk podatkov smo proučevali porazdelitev števila člankov glede na število sodelujočih avtorjev. Ugotovili smo, da se je ta porazdelitev v zadnjih letih spreminjala, in sicer zlasti pri člankih z zelo velikim številom avtorjev. Najpomembnejši razlog za to so publikacije velikih raziskovalnih skupin, ki imajo tudi po 100 in več raziskovalcev. Ti članki so v zbirkah podatkov obdelani različno, kar pomembno vpliva na kazalnike za ugotavljanje stopnje sodelovanja med avtorji (npr. na povprečno vrednost števila sodelujočih avtorjev). Poiskali smo nove, ustreznejše kazalnike. V zadnjem času pa se intenzivno ukvarjamo s Hirschovim indeksom in pripravljamo članek na temo analize znanstvenih objav v slovenski medicini. Za zaključek naj še enkrat poudarim: na področju scientometrije smo opravili veliko praktično delo s tem, da smo uspeli avtomatizirati analizo citiranosti v zbirki Web of Science. Takšne dosežke je težko vrednotiti, če se ne kažejo posredno preko objav v znanstveni literaturi. Upam, da se v prihodnosti bodo, na tem mestu pa vseeno poudarjam, da gre za izjemen praktičen dosežek, ki ga inštitucije, ki so za to mnogo bolje plačane kot mi, že leta (prej preko baze SCI) zaman poskušajo ponoviti. Kolikor nam je znano, tudi v svetu ni ničesar podobnega. Program P3-0154 Stran 2 od 15 Zaključno poročilo o rezultatih raziskovalnega programa v obdobju 2004-2008 Podatkovno rudarjenje V preteklem obdobju smo nadaljevali z raziskavami na področju odkrivanja zakonitosti z analizo biomedicinske strokovne literature (literature-based discovery ali na kratko LBD). Namen področja je odkrivanje novih, prej neznanih povezav med biomedicinskimi koncepti na osnovi prej znanih povezav, ki so že objavljeni v strokovni literaturi. Dognanja, opisana spodaj, so bila vsa objavljena v ustrezni mednarodni literaturi. Dva članka sta bila nagrajena, o čemer več pišemo drugje. Leta 2005 smo izboljšali obstoječo metodologijo na področju LBD tako, da smo vključili genetsko znanje v postopku odkrivanja. S tem smo lahko naredili sistem, ki je bolj primeren za odkrivanje kandidatnih genov za dano bolezen ali za odkrivanje bolezni, ki so prizadete zaradi mutacij danega gena. Vse metode so javno dostopne v obliki računalniškega orodja z imenom BITOLA, ki je dostopno na naslovu http://www.mf.uni-lj.si/bitola/. Velja poudariti, da je sistem BITOLA citiran in opisan v dveh preglednih člankih: • Weeber M, Kors JA, Mons B. Online tools to support literature-based discovery in the life sciences. BRIEF BIOINFORM 6: 277-286, 2005 in • Jensen LJ, Saric J, Bork P. Literature mining for the biologist: from information retrieval to biological discovery. Nat Rev Genet. 2006 ;7:119-29. Praktično to pomeni, da se sistem BITOLA uvršča med najpomembnejše svetovne programske dosežke na tem področju. Razvili smo tudi novo metodologijo LBD, ki temelji na uporabi semantičnih relacij. Namreč, dosedanji LBD sistemi so uporabljali skupno pojavljanje konceptov kot edini indikator za povezanost konceptov. Tak pristop ima določene pomanjkljivosti, kot denimo to da je veliko lažno pozitivnih relacij in to, da sistem, ki temelji na skupnem pojavljanju konceptov, ne more dati razlage za hipoteze, ki jih generira. Za rešitev omenjenih problemov smo razvili metodologijo LBD, ki temelji na povzemanju semantičnih relacij iz biomedicinskih člankov, prisotnih v bazi Medline. Povzete relacije smo združili v vzorce odkritij (Discovery Patterns) in tako dobili bolj natančno metodologijo za generiranje raziskovalnih hipotez. S to metodologijo lahko iščemo na primer nove načine zdravljenja za obstoječe bolezni, ali pa za obstoječe zdravilo iščemo nove terapevstke aplikacije. Metodogijo iz prejšnjega odstavka smo še naprej izpopolnili in uporabili, da raziščemo zakaj se zdravila uspešno uporabljajo, čeprav ni povsem jasen mehanizem njihovega delovanja [Ahlers2007]. Pri tem smo se osredotočili predvsem na raziskave o uporabi antipsihotikov pri zdravljenju rakavih boleznih. Z našo metodo smo odkrili pet biomolekul, ki lahko pojasnijo povezavo med antipsihotikov ter rakastimi oboljenji: "brain-derived neurotrophic factor", "CYP2D6", "glucocorticoid receptor", "PRL", in "TNF". Povzemanje (ali odkrivanje) semantičnih relacij iz bibliografskih baz podatkov je zelo pomemben postopek, ker nam omogoča transformacijo bibliografske baze podatkov v bazo znanja, kar je osnova za številne bolj napredne oblike podatkovnega rudarjenja. Zato smo raziskovali možnosti za njihovo povzemanje. Pri prvem pristopu smo razvili metodologijo za integracijo povzetih semantičnih relacij iz dveh sistemov za povzemanje relacij: SemRep in BioMedLee. Z integracijo dveh sistemov želimo doseči večjo natančnost takrat, ko oba sistema povzemata enake relacije ter večje število relacij takrat, ko vzamemo unijo povzetih relacij obeh sistemov. Pri drugem pristopu smo razvili metodo, ki uporablja kvalificirane biomedicinske koncepte iz bibliografske zbirke Medline [Srinivasan2004]. Vsakemu zapisu v zbirki Medline je prirejeno okoli deset konceptov iz kontroliranega slovarja MeSH (Medical Subject Headings). Pogosto so koncepti dodatno pojasnjeni tako, da jim je prirejen en ali več kvalifikatorjev (npr. Diagnostic procedure ali Drug therapy). Pri tej metodi povzemamo semantične relacije med pari kvalificiranih konceptov. Ena najpomembnejših nalog pri povzemanju informacij iz biomedicinskih besedil za področje bioinformatike je ekstrakcija simbolov genov. Pri tem nastopijo številni problemi: 1. ali določen simbol predstavlja gen ali drugo biomedicinsko okrajšavo (pr. CT je lahko simbol gena vendar večinoma pomeni Computer Tomography), 2. isti simbol je lahko simbol za nekaj različnih genov, in 3. isti simbol je lahko simbol za gene različnih organizmov. Za rešitev omenjenih problemov razvijamo nekaj metod. Poleg naštetega smo razvili še metodo za sestavljanje diagnostičnega testa za odkrivanje mikrodelecij na kromosomu Y, ki vplivajo na moško neplodnost. Diagnostični test je množica markerjev (manjših testov), ki preverjajo prisotnost ali odsotnost delecije na določenem mestu na določenem kromosomu. Diagnostični test smo sestavili tako da vsebuje čim manjše število markerjev (in zaradi tega je test cenejši) in istočasno odkriva čim večje število neplodnih moških. 3. Ocena stopnje realizacije zastavljenih raziskovalnih ciljev2 Program P3-0154 Stran 3 od 15 Zaključno poročilo o rezultatih raziskovalnega programa v obdobju 2004-2008 Cilje programa smo povsem dosegli, marsikje tudi presegli. Zlasti na biostatističnem področju, ki je postalo glavno raziskovalno jedro programa, smo dosegli mnogo več, kot smo lahko pričakovali. Razloga za to sta predvsem dva: 1. mlada raziskovalka Majo Pohar se je izredno hitro razvila v kvalitetno znanstvenico. Bila je prva doktorandka univerzitetnega podiplomskega študija Statistika, njeni večmesečni gostovanji v Angliji in na Danskem pa sta bili izjemno plodni. 2. ekipo je zelo okrepila Lara Lusa, doma sicer iz Portoroža, ki pa je šolanje opravila v Italiji in se že tam razvila v uspešno znanstvenico. Za ostali dve področji sicer lahko rečem, da smo cilje dosegli, pričakoval pa sem kakšno objavo več. 4. Utemeljitev morebitnih sprememb programa raziskovalnega programa3 Sprememb programa ni bilo. 5. Najpomembnejši znanstveni rezultati programske skupine4 Znanstveni rezultat 1. Naslov SLO An individual measure of relative survival. ANG An individual measure of relative survival. Opis SLO Metode relativnega preživetja uporabljamo takrat, ko je informacija o vzrokih smrti nezanesljiva ali manjkajoča. Avtorji v tem članku predlagajo transformacijski pristop, ki vsakemu posamezniku pripiše izid, ki je mera njegovega relativnega preživetja. Izid ima preprosto interpretacijo in se ga lahko analizira z običajnimi metodami analize preživetja. Ob tem podaja dodatno informacijo o relativnem preživetju, lahko na primer ocenimo delež bolnikov, ki so preživeli določen percentil ustrezne populacije. Posebej je pomembno, da v postopku vplive populacijskih razlik odpravimo pred modeliranjem ANG Relative survival techniques are useful when cause-specific death information is not accurate. We present a transformation approach which instead gives for each individual an outcome measure relative to the appropriate background population. It provides additional information on relative survival, and gives new options in regression analysis. The regression models for the new outcome measure are different from existing models, thus providing new possibilities in analysing relative survival data. One distinctive feature of our approach is that we adjust for expected survival before modelling. Objavljeno v STARE, Janez, HENDERSON, Robin, POHAR, Maja. Appl. Stat., 2005, letn. 54, št. 1, str. 115-126 JCR IF: 0.641 Tipologija 1.01 Izvirni znanstveni članek COBISS.SI-ID 18287577 2. Naslov SLO Goodness of fit of relative survival models ANG Goodness of fit of relative survival models Opis SLO V analizi relativnega preživetja prevladuje aditivni model. Zanimivo je, da za te modele prava diagnostika ne obstaja. V tem članku smo predlagali vrsto testov za preverjanje predpostavke o sorazmernih presežnih tveganjih ( = konstantni koeficienti). Testi temeljijo na ostankih, ki so analogni Schoenfeldovim ostankom v Coxovem modelu. Teoretične izpeljave (predvsem konvergenca k Brownovemu gibanju) so podprte s simulacijami in dokazujejo, da imajo metode ustrezno moč ANG Additive regression models are preferred over multiplicative models in analysis of relative survival data. While there is an abundance of methods to check the goodness of fit of multiplicative models, the respective arsenal for additive models is almost empty. We propose here a variety of procedures for testing for constant as opposed to time-varying additive effects, based on partial residuals defined similarly to Schoenfeld residuals familiar for Cox model diagnostics. Program P3-0154 Stran 4 od 15 Zaključno poročilo o rezultatih raziskovalnega programa v obdobju 2004-2008 Objavljeno v STARE, Janez, POHAR PERME, Maja, HENDERSON, Robin. Stat Med, December 2005, letn. 24, št. 24, str. 3911-3925. JCR IF: 1.477 Tipologija 1.01 Izvirni znanstveni članek COBISS.SI-ID 19987161 3. Naslov SLO ANG Explained randomness in proportional hazards models. Explained randomness in proportional hazards models. Opis SLO ANG Članek ima dva dela. V prvem pokažemo, da ob predpostavki neodvisnosti krnjenja meri pojasnjene variabilnosti Xu in O'Quigleya ter Kenta in O'Quigleya sovpadata. Poleg tega se avtorji v članku ukvarjajo z mero pojasnjene variabilnosti, ki je že dolgo `na trgu', a se vztrajno v vseh računalniških programih napačno izračunava. Programi namreč dajejo zelo pristransko oceno populacijske vrednosti, če so prisotne krnitve (to pa je vedno). Predlagajo popravek, ki nepristranost skoraj popolnoma odpravi. A coefficient of explained randomness was presented by Kent. Kent and O'Quigley developed these ideas, obtaining simple, multiple and partial coefficients for the situation of proportional hazards regression. Xu and O'Quigley developed a more direct approach.One purpose of this paper is to indicate that, under an independent censoring assumption, the two population coefficients coincide. Our second purpose is to point out that a sample-based coefficient in common use can be interpreted as an estimate of explained randomness when there is no censoring. Objavljeno v O'QUIGLEY, John, XU, Ronghui, STARE, Janez. Stat Med, 2005, letn. 24, str. 479-489. JCR IF: 1.477 Tipologija 1.01 Izvirni znanstveni članek COBISS.SI-ID 18493657 4. Naslov SLO ANG Challenges in projecting clustering results across gene expression-profiling datasets. Challenges in projecting clustering results across gene expression-profiling datasets. Opis SLO ANG Molekularno razvrščanje v 5 podskupin na podlagi izraženosti genov je bilo predlagano za raka dojke. Številne študije so poročale o identifikaciji teh podskupin. Funkcija razvrščanja, ki so jo uporabljali, je bila definirana na podlagi metode centroidov. V članku smo identificirali številne faktorje, ki lahko vplivajo na natančnost pri razvrščevanju bolnikov. Subtypes have been reported to exist across several breast cancer microarray studies. In this paper we identified a number of factors that can influence the accuracy of assignment of patient samples to previously identified cancer subtypes and showed that careful consideration must be given to the comparability of patient populations and datasets in assigning samples to previously identified subtypes. We also showed that a robust classification rule for assigning new samples that are not part of the original dataset from which the clusters were derived remains elusive. Objavljeno v LUSA, Lara, MCSHANE, Lisa M., REID, James F., DE CECCO, Loris, AMBROGI, Federico, BIGANZOLI, Elia, GARIBOLDI, Manuela, PIEROTTI, Marco A. J. Natl. Cancer Inst., 2007, letn. 99, št. 22, str. 1715-1723. JCR IF: 15.678 Tipologija 1.01 Izvirni znanstveni članek COBISS.SI-ID 23695577 5. Naslov SLO ANG An approach to estimation in relative survival regression. An approach to estimation in relative survival regression. Opis SLO Povezanost relativnega preživetja z napoivednimi dejavniki je najpogosteje opisana z aditivnim modelom. Obstojoča metoda ocenjevanja parametrov v modelu zahteva predpostavke o osnovni presežni ogroženosti, avtorji pa v tem članku predlagajo povsem nov pristop k ocenjevanju, ki se tem predpostavkam izogne ter hkrati osnovno presežno ogroženost oceni iz podatkov. Kot posplošitev Coxovega modela je metoda zelo fleksibilna in omogoča poljubne razširitve, ki so uporabljane v Coxovem modelu. In relative survival, most often an additive excess hazard model is used. The Program P3-0154 Stran 5 od 15 Zaključno poročilo o rezultatih raziskovalnega programa v obdobju 2004-2008 ANG existing methods of parameter estimation postulates assumptions about the baseline excess hazard. In this paper, the authors propose a new approach to estimation of the model parameters that avoids these assumptions and rather estimates the baseline excess hazard from the data. The methods is a generalization of the Cox model, meaning that all the wealth of options in existing software for the Cox model can be used in relative survival. Objavljeno v POHAR PERME, Maja, HENDERSON, Robin, STARE, Janez. Biostat. (Oxf. Print), 2009, letn. 10, št. 1, str. 136-146. JCR IF (2007): 3.058 Tipologija 1.01 Izvirni znanstveni članek COBISS.SI-ID 24416217 6. Najpomembnejši družbeno-ekonomsko relevantni rezultati programske skupine5 Družbeno-ekonomsko relevantni rezultat 1. Naslov SLO Predsedovanje programskemu odboru mednarodne konference ANG Chairing programme committee of an international conference Opis SLO Predsedovanje programskemu odboru konference Janez Stare je od leta 2004 naprej (vsako leto) predsednik programskega odbora mednarodne konference Applied Statistics (glej http://conferences.nib.si/AS2008/). ANG Since 2004 (yearly) Janez Stare is chairing the programme committee of the International conference (see http://conferences.nib.si/AS2008/). Šifra B.02 Predsedovanje programskemu odboru konference Objavljeno v STARE, Janez (ur.), VIDMAR, Gaj (ur.), KOREN, Gašper (ur.). International Conference Applied Statistics, Ljubljana, Slovenia, September 19-22, 2004. Program and abstracts. Ljubljana: Statistical Society of Slovenia, 2004. 70 str., ilustr. ISBN 961-90314-3-1. Tipologija 4.00 Sekundarno avtorstvo COBISS.SI-ID 215238912 2. Naslov SLO An individual measure of relative survival. ANG An individual measure of relative survival. Opis SLO Gre za najpomembnejšo konferenco z našega biostatističnega področja. Povabilo smo dobili zaradi članka, ki je bil januarja istega leta objavljen in je vpeljal novo metodo v analizo relativnega preživetja (o tem več drugje). ANG ISCB conference is the most important conference in our (biostatistical) field, this has been the second time (first in 1996) that Janez Stare was invited speaker at this conference. This invitation came because of the paper that we published in JRSS (C) early this same year. Šifra B.04 Vabljeno predavanje Objavljeno v STARE, Janez, HENDERSON, Robin, POHAR, Maja. V: HANSEN, B.E. (ur.), VAN HOUWELINGEN, J.C. (ur.), STIJNEN, Th (ur.). Annual Conference the International Society for Clinical Biostatistics, 15-19 August, 2004. Abstract book. Leiden: International Society for Clinical Biostatistics, 2004, str. 106 Tipologija 1.06 Objavljeni znanstveni prispevek na konferenci (vabljeno predavanje) COBISS.SI-ID 18057689 3. Naslov SLO New developments in relative survival. ANG New developments in relative survival. Opis SLO Tu gre za konferenco avstrijsko švicarske sekcije International Biometric Society, ki jo organizirajo vsako drugo leto in nanjo vabijo nekaj predavateljev iz drugih držav. V predavanju sem predstavil naša najnovešja dognanja na področju relativnega preživetja, ki smo jih objavili v treh člankih. ANG ROeS is the Austrian Swiss section of the International Biometric Society, and they organize a conference every second year. A number of experts from different fields is invited, this was thefirst invitation for somebody from Slovenia. The talk was based on our three papers on relative survival. Program P3-0154 Stran 6 od 15 Zaključno poročilo o rezultatih raziskovalnega programa v obdobju 2004-2008 Šifra B.04 Vabljeno predavanje Objavljeno v STARE, Janez, HENDERSON, Robin, POHAR PERME, Maja. V: ROeS seminar 2005, Graz September 25-29 2005. Graz: Medical University, 2005. Tipologija 1.06 Objavljeni znanstveni prispevek na konferenci (vabljeno predavanje) COBISS.SI-ID 19710681 4. Naslov SLO Using the Literature-Based Discovery Paradigm to Investigate Drug Mechanisms. ANG Using the Literature-Based Discovery Paradigm to Investigate Drug Mechanisms. Opis SLO Članek je dobil Distinguished Paper Award na konferenci AMIA (American Medical Informatics Association) novembra 2007. ANG The paper received the Distinguished Paper Award at AMIA (American Medical Informatics Association) conference in november 2007. Šifra E.02 Mednarodne nagrade Objavljeno v AHLERS, Caroline B., HRISTOVSKI, Dimitar, KILICOGLU, Halil, RINDFLESCH, Thomas C. V: TEICH, Jonathan M. (ur.), SUERMONDT, Jaap (ur.), HRIPCSAK, George (ur.). Biomedical and health informatics: from foundations to applications to policy. : AMIA 2007 : proceedings, (AMIA ... Annual Symposium proceedings). [Chicago: s.n.], 2007, 2007, str. 6-10. Tipologija 1.08 Objavljeni znanstveni prispevek na konferenci COBISS.SI-ID 23467481 5. Naslov SLO Uredništvo nacionalne revije Informatica medica slovenica ANG Editorial board of a national journal Informatica medica slovenica Opis SLO Janez Stare je bil dva mandata glavni urednik revije Informatica medica slovenica. V tem času je revije prešla z izhajanja enkrat letno na dvakrat letno, uredila eksterno recenziranje člankov in poleg tiskane verzije prešla tudi na spletno objavljanje. ANG Janez Stare was for two terms the chief editor of the journal Informatica medica slovenica. In this time the journal has doubled its issues, started external reviewing in addition to the printer version also became a web journal. Šifra C.05 Uredništvo nacionalne revije Objavljeno v Informatica medica slovenica. Stare, Janez (glavni urednik 2005-), Dimec, Jure (urednik 2005-), Hristovski, Dimitar (član uredniškega odbora 2005-), Hudomalj, Emil (član uredniškega odbora 2005-), Vidmar, Gaj (član uredniškega odbora 2005-). Maribor: Zdravstveni dom dr. Adolfa Drolca, 1994-. ISSN 1318-2129. http://ims.mf.uni-lj.si. Tipologija 4.00 Sekundarno avtorstvo COBISS.SI-ID 37756160 7. Pomen raziskovalnih rezultatov programske skupine6 7.1. Pomen za razvoj znanosti2 SLO Če smo bili že prej na področju mer pojasnjene variabilnosti v analizi preživetja med vodilnimi v svetu in bržčas edini, ki imajo programsko opremo za računanje vseh pomembnejših mer, smo sedaj to nedvomno tudi na področju relativnega preživetja. Naš paket relsurv (avtorica Maja Pohar Perme) je edini vseobsegajoč paket v svetu, je vključen v R repozitorij CRAN in se že na široko uporablja. Da pa gre tudi za pomembne teoretične prispevke k metodam relativnega preživetja kaže dejstvo, da je bil Janez Stare vabljeni predavatelj na dveh mednarodnih konferencah (ISCB 2004 in ELN 2007) in bo še na eni v letu (ISRT 2008) ter da bo vabljeni diskutant na konferenci International Statistical Institute leta 2009, kjer bo Maja Pohar Perme vabljena predavateljica. Temu je potrebno dodati še štiri vabljena predavanja na univerzah v Milanu, Torinu (Stare), Dunaju in Kopenhagnu (Pohar Perme). Orodja, ki jih razvijamo na področju odkrivanja zakonitosti z analizo strokovne literature, aktivno pomagajo strokovnjakom tako pri iskanju relevantne literature kot tudi pri generiranju novih raziskovalnih hipotez. Naša orodja so zelo dobro znana in citirana med strokovnjaki s Program P3-0154 Stran 7 Zaključno poročilo o rezultatih raziskovalnega programa v obdobju 2004-2008 področja medicinske informatike v svetu, za prihodnost pa želimo predvsem razširiti seznanjenost in uporabo naših orodij med končnimi uporabniki - raziskovalci in strokovnjaki z biomedicinskega področja. Zaenkrat tesno sodelujemo predvsem z genetiki. ANG_____________________________________________________________________________________________________________ We have already been for quite a time among the world leading groups regarding the field of the measures of explained variation in survival analysis, and probably the only team having the programme tools for the calculation of all important measures. Now, the same could be said for the field of the relative survival. Our package relsurv (authored by Maja Pohar Perme) is the only integral package in the world. It is included into the R repository CRAN and is being used widely. We had also contributed important theoretical contributions to the methodology of the relative survival, which can be supported by the fact that Janez Stare was invited lecturer on three international conferences (ISCB 2004, RoeS 2005 and ELN 2007) and will be invited discussant on ISI 2009 conference where Maja Pohar Perme will be invited lecturer. Four invited lectures at the Universities of Milano, Torino (Stare), Vienna and Copenhagen (Pohar Perme) should also be added here. The tools, which we are developing in the field of the knowledge discovery in literature databases, are actively helping the researchers while searching for relevant literature and with the generation of new research hypotheses. Our tools are very well known and cited worldwide in the medical informatics research community, but we would like to spread the knowledge and use of these tools among the end users - scientists and practitioners from the biomedical field. Presently we co-operate the most closely with the genetics community in Slovenia. 7.2. Pomen za razvoj Slovenije5 SLO______________________________________________________________________________________________________________ Vse naše raziskave izhajajo iz osnovne usmeritve našega inštituta, to je nuditi kar najkvalitetnejšo podporo raziskovalnemu delu v slovenski medicini. Brez teh raziskav bi bila naša biostatistična in znanstveno informacijska podpora bistveno revnejša. Naš prispevek k metodologiji vrednotenja raziskovalnega dela pa je prav gotovo precej pomagal k temu, da je imela medicina v preteklosti med vsemi znanstvenimi področji pri nas najbolj pregledno in najbolj objektivno urejeno vrednotenje raziskovalnih projektov in programov. Precej naših izkušenj pa se je prelilo tudi v nove kriterije, ki jih trenutno uporablja ARRS. Naše delo nudi podporo raziskovalnemu in strokovnemu delu v medicini in preko tega tudi tehnološkemu razvoju v slovenski medicini. Vsaka mednarodno odmevna dejavnost utrjuje nacionalno identiteto. Naše raziskave vsekakor odmevajo v krogu ljudi, ki ga pred nami iz Slovenije ni nihče naslavljal. ANG_____________________________________________________________________________________________________________ All our research stems from our basic maxim - to offer the best possible support to the research work in Slovenian medicine. Without our research the support of the fields of biostatistics and scientific informatics would be much poorer. Our contribution to the methodology of the assessment of the research work had undoubtedly been crucial for the fact that in the past the medicine had the most transparent and objectively regulated assessment of the research projects and programmes. A good part of our experiences has been used with the development of criteria presently used by ARRS. Our work supports the research and routine work in medicine and, consequently, technological development in Slovenian medicine. Each activity with the wide international response strengthens the national identity. Our research undoubtedly echoes in the circles that were never before addressed from Slovenia. 8. Zaključena mentorstva članov programske skupine pri vzgoji kadrov9 Vrsta izobraževanja Število mentorstev Od tega mladih raziskovalcev - magisteriji 1 - doktorati 3 1 Program P3-0154 Stran 8 od 15 Zaključno poročilo o rezultatih raziskovalnega programa v obdobju 2004-2008 - specializacije Skupaj: 4 1 9. Zaposlitev vzgojenih kadrov po usposabljanju Organizacija zaposlitve Število doktorjev Število magistrov Število specializantov - univerze in javni raziskovalni zavodi 3 1 - gospodarstvo - javna uprava - drugo Skupaj: 3 1 0 10. Opravljeno uredniško delo, delo na informacijskih bazah, zbirkah in korpusih v obdobju10 Ime oz. naslov publikacije, podatkovne informacijske baze, korpusa, zbirke z virom (ID, spletna stran) Število * 1. Informatica medica slovenica. Stare, Janez (glavni urednik 2005-), Slovensko društvo za medicinsko informatiko, 1994-. ISSN 1318-2129. [COBISS.SI-ID 37756160] 42 člankov 2. STARE, Janez (ur.), VIDMAR, Gaj (ur.). Program and abstracts. Ljubljana: Statistical Society of Slovenia, 2007. ISBN 978-961-90314-9-0. Oba urednika od leta 2004 naprej približno 300 izvlečkov 3. Bibliografska zbirka Biomedicina Slovenica, urednik Jure Dimec od 2004 vnešenih 32.454 zapisov 4. Bibliografska zbirka COBISS od 2004 vnešenih 26.611 zapisov 5. 6. 7. 8. 9. 10. *Število urejenih prispevkov (člankov) /število sodelavcev na zbirki oz. bazi /povečanje obsega oz. število vnosov v zbirko oz. bazo v obdobju 11. Vključenost raziskovalcev iz podjetij in gostovanje raziskovalcev, podoktorandov ter študentov iz tujine, daljše od enega meseca Sodelovanje v programski skupini Število - raziskovalci-razvijalci iz podjetij - uveljavljeni raziskovalci iz tujine - podoktorandi iz tujine 1 - študenti, doktorandi iz tujine Skupaj: 1 Program P3-0154 Stran 9 od 15 Zaključno poročilo o rezultatih raziskovalnega programa v obdobju 2004-2008 12. Vključevanje v raziskovalne programe Evropske unije in v druge mednarodne raziskovalne in razvojne programe ter drugo mednarodno sodelovanje v obravnavanem obdobju11________________________________________________________________________________ 1. Management of Liver Cancer Using Radionuclide Methods, projekt IAEA, z naše strani vključena Janez Stare in Gaj Vidmar. Trajanje 2004 - 2006. 2. Role of nuclear cardiology techniques in ischemia assessment with exercise imaging in asymptomatic diabetes, projekt IAEA (Mednarodna agencija za atomsko energijo) (z naše strani vključeni Gaj Vidmar, Brane Leskošek in Lara Lusa). Trajanje 2007:2009 3. From genetic complexity to common transcription alterations in human cancer to improve its clinical management Grant from Associazione Italiana per la Ricerca sul Cancro (AIRC) Principal Investigator: Marco A. Pierotti, Fondazione Istituto Nazionale dei Tumori, Milano (z naše strani vključena Lara Lusa) Trajanje 2007:2009 4. Novel approaches to assess the carcinogenic potential of genotoxic pollutants Grant from: Istituto superiore per la sicurezza e il lavoro (ISPESL) Principal Investigator: Delia Cavallo, Dipartimento di Medicina del Lavoro, ISPESL-National Institute for Occupational Safety and Prevention, Monteporzio Catone, Rome, Italy. (z naše strani vključena Lara Lusa) Trajanje 2007:2009 13. Vključenost v projekte za uporabnike, ki potekajo izven financiranja ARRS12_________ Vključeni smo v več manjših projektov za različne farmacevtske firme, Ministrstvo za zdravje, Zdravniško zbornico Slovenie, Onkološki inštitut in Klinični center. Navajam le nekaj primerov (podatki za farmacevtske firme so tajni): Kakovost v zdravstvu Slovenije - Zdravniška zbornica Zadovoljstvo pacientov - Ministrstvo za zdravje Preprečevanje ishemičnih dogodkov pri bolnikih s periferno arterijsko boleznijo, Vodja dr. Aleš Blinc, KC Evidenca zdravljenja bolnic s HER2 pozitivnim rakom dojk - eHER2, Vodja prof.dr. Tanja Čufer, OI 14. Dolgoročna sodelovanja z uporabniki, sodelovanje v povezavah gospodarskih in drugih organizacij (grozdi, mreže, platforme), sodelovanje članov programske skupine v pomembnih gospodarskih in državnih telesih (upravni odbori, svetovalna telesa, fundacije, itd.)___________________________________________________________________________________ Brane Leskošek - član UO SDMI (Slovensko društvo za medicinsko informatiko) - predsednik Odbora za zdravstveno informacijske standarde na Ministrstvu za zdravje (MZ) - član Sveta za informatiko na MZ - član Komisije za postavitev varnega zdravstvenega omrežja na MZ Janez Stare - podpredsednik programskega odbora Univerzitetnega podiplomskega študija Statistika - do 2004 predsednik Statističnega društva Slovenije 15. Skrb za povezavo znanja s slovenskim prostorom in za slovensko znanstveno terminologijo (Cobiss tip 1.04, 1.06, 1.07, 1.08, 1.09, 1.17, 1.18, 2.02, 2.03, 2.04, 2.05, 2.06)13 Program P3-0154 Stran 10 od 15 Zaključno poročilo o rezultatih raziskovalnega programa v obdobju 2004-2008 Naslov Nekaj malega o računanju velikosti vzorca Opis Računanje velikosti vzorca za doseganje potrebne statistične moči se vse pogosteje zahteva pri objavah v medicinski znanstveni literaturi. V članku so podani postopki za najpogosteje uporabljane statistične metode za numerične spremenljivke. Vsebina članka je del predmeta Načrtovanje in analiza kliničnih raziskav na podiplomskem študiju Biomedicina. Objavljeno v STARE, Janez. Informatica medica slovenica, 2007, letn. 12, št. 2, str. 29-33. COBISS.SI-ID 23683545 16. Skrb za popularizacijo znanstvenega področja (Cobiss tip 1.05, 1.21, 1.22, 2.17, 2.19, 3.10, 3.11, 3.12)14 Naslov 30 let Statističnega društva Slovenije : 1977-2007 Opis Statistično društvo Slovenije združuje praktično vse slovenske statistike in njegovi člani so vključeni v praktično vse pomembnejše statistične aktivnosti v državi: od delovanja v državnih statističnih uradih do poučevanja in raziskovanja na univerzah. Društvo organizira dve do tri mednarodne konference letno, njegovi člani so ustanovili in vodijo podiplomski študij statistike in pripravljajo tudi drugostopenjski študij. V članku je podana zgodovina društva, katerega predsednik je bil v letih 200-2004 tudi Janez Stare. Objavljeno v TRŠINAR, Irena, BLEJEC, Andrej, FERLIGOJ, Anuška, MITIČ, Sergeja, NOČ RAZINGER, Mojca, OGRAJENŠEK, Irena, STARE, Janez, VIPAVC BRVAR, Irena. Bilt. Stat. druš. Slov., mar. 2008, št. 52, letn. 30, str. 4-17. COBISS.SI-ID 17727718 17. Vpetost vsebine programa v dodiplomske in podiplomske študijske programe na univerzah in samostojnih visokošolskih organizacijah v letih 2004 – 2008 1. Naslov predmeta Medicinska statistika Vrsta študijskega programa podiplomski Naziv univerze/ fakultete Univerzitetni študij Statistika 2. Naslov predmeta Biomedicinska informatika Vrsta študijskega programa dodiplomski Naziv univerze/ fakultete Medicinska fakulteta 3. Naslov predmeta Sodobne statistične metode v medicini Vrsta študijskega programa podiplomski Naziv univerze/ fakultete Univerzitetni študij Biomedicina 4. Naslov predmeta Biostatistično načrtovanje kliničnih raziskav Vrsta študijskega podiplomski Program P3-0154 Stran 11 od 15 Zaključno poročilo o rezultatih raziskovalnega programa v obdobju 2004-2008 programa Naziv univerze/ fakultete Univerzitetni študij Biomedicina 5. Naslov predmeta Informatika Vrsta študijskega programa podiplomski Naziv univerze/ fakultete Univerzitetni študij Biomedicina 6. Naslov predmeta Računalniško komuniciranje pri raziskovalnem delu Vrsta študijskega programa podiplomski Naziv univerze/ fakultete Univerzitetni študij Biomedicina 7. Naslov predmeta Podatkovne zbirke 2 Računalniško komuniciranje Informatika 2 Vrsta študijskega programa dodiplomski dodiplomski dodiplomski Naziv univerze/ fakultete Filozofska fakulteta Filozofska fakulteta Filozofska fakulteta 18. Označite potencialne vplive oziroma učinke vaših rezultatov na navedena področja: Vpliv Ni vpliva Majhen vpliv Srednji vpliv Velik vpliv G.01 Razvoj visoko-šolskega izobraževanja G.01.01. Razvoj dodiplomskega izobraževanja r <• r r G.01.02. Razvoj podiplomskega izobraževanja r r (S r G.01.03. Drugo: r r r r G.02 Gospodarski razvoj G.02.01 Razširitev ponudbe novih izdelkov/storitev na trgu (S r r r G.02.02. Širitev obstoječih trgov (S r r r G.02.03. Znižanje stroškov proizvodnje r <• r r G.02.04. Zmanjšanje porabe materialov in energije r (S r r G.02.05. Razširitev področja dejavnosti a r r r G.02.06. Večja konkurenčna sposobnost r (S r r G.02.07. Večji delež izvoza a r r r G.02.08. Povečanje dobička r a r r G.02.09. Nova delovna mesta r (S r r Program P3-0154 Stran 12 od 15 Zaključno poročilo o rezultatih raziskovalnega programa v obdobju 2004-2008 G.02.10. Dvig izobrazbene strukture zaposlenih C r (S r G.02.11. Nov investicijski zagon (S r r r G.02.12. Drugo: C r r r G.03 Tehnološki razvoj G.03.01. Tehnološka razširitev/posodobitev dejavnosti a r r r G.03.02. Tehnološko prestrukturiranje dejavnosti a r r r G.03.03. Uvajanje novih tehnologij a r r r G.03.04. Drugo: r r r r G.04 Družbeni razvoj G.04.01 Dvig kvalitete življenja a r r r G.04.02. Izboljšanje vodenja in upravljanja r (S r r G.04.03. Izboljšanje delovanja administracije in javne uprave r a r r G.04.04. Razvoj socialnih dejavnosti a r r r G.04.05. Razvoj civilne družbe a r r r G.04.06. Drugo: r r r r G.05. Ohranjanje in razvoj nacionalne naravne in kulturne dediščine in identitete a r r r G.06. Varovanje okolja in trajnostni razvoj a r r r G.07 Razvoj družbene infrastrukture G.07.01. Informacijsko-komunikacijska infrastruktura r a r r G.07.02. Prometna infrastruktura a r r r G.07.03. Energetska infrastruktura (S r r r G.07.04. Drugo: r r r r G.08. Varovanje zdravja in razvoj zdravstvenega varstva r r (S r G.09. Drugo: r r r r Komentar^ C. IZJAVE Podpisani izjavljam/o, da: • so vsi podatki, ki jih navajamo v poročilu, resnični in točni • se strinjamo z obdelavo podatkov v skladu z zakonodajo o varstvu osebnih podatkov za potrebe ocenjevanja, za objavo 5., 6. in 7. točke na spletni strani http://sicris.izum.si/ ter obdelavo teh podatkov za evidence ARRS Program P3-0154 Stran 13 od 15 Zaključno poročilo o rezultatih raziskovalnega programa v obdobju 2004-2008 • so vsi podatki v obrazcu v elektronski obliki identični podatkom v obrazcu v pisni obliki Podpisi: vodja raziskovalnega programa zastopniki oz. pooblaščene osebe raziskovalnih organizacij in/ali koncesionarjev Janez Stare in/ali Univerza v Ljubljani, Medicinska fakulteta Kraj in datum: Ljubljana 15.4.2009 Oznaka poročila: ARRS_ZV_RPROG_ZP_2008/861 1 Napišite kratko vsebinsko poročilo, kjer boste predstavili raziskovalno hipotezo in opis raziskovanja. Navedite ključne ugotovitve, znanstvena spoznanja ter rezultate in učinke raziskovalnega programa. Največ 21.000 znakov vključno s presledki (približno tri in pol strani, velikosti pisave 11). Nazaj 2 Največ 3000 znakov vključno s presledki (približno pol strani, velikosti pisave 11). Nazaj 3 Samo v primeru bistvenih odstopanj in sprememb od predvidenega programa raziskovalnega programa, kot je bil zapisan v predlogu raziskovalnega programa. Največ 3.000 znakov vključno s presledki (približno pol strani, velikosti pisave 11). Nazaj 4 Navedite največ pet najpomembnejših znanstvenih rezultatov programske skupine, ki so nastali v času trajanja programa v okviru raziskovalnega programa, ki je predmet poročanja. Za vsak rezultat navedite naslov v slovenskem in angleškem jeziku (največ 150 znakov vključno s presledki), rezultat opišite (največ 600 znakov vključno s presledki) v slovenskem in angleškem jeziku, navedite, kje je objavljen (največ 500 znakov vključno s presledki), izberite ustrezno šifro tipa objave po Tipologiji dokumentov/del za vodenje bibliografij v sistemu COBISS ter napišite ustrezno COBISS.SI-ID številko bibliografske enote. Navedeni rezultati bodo objavljeni na spletni strani http://sicris.izum.si/. PRIMER (v slovenskem jeziku): Naslov: Regulacija delovanja beta-2 integrinskih receptorjev s katepsinom X; Opis: Cisteinske proteaze imajo pomembno vlogo pri nastanku in napredovanju raka. Zadnje študije kažejo njihovo povezanost s procesi celičnega signaliziranja in imunskega odziva. V tem znanstvenem članku smo prvi dokazali… (največ 600 znakov vključno s presledki) Objavljeno v: OBERMAJER, N., PREMZL, A., ZAVAŠNIK-BERGANT, T., TURK, B., KOS, J.. Carboxypeptidase cathepsin X mediates ß2 - integrin dependent adhesion of differentiated U-937 cells. Exp. Cell Res., 2006, 312, 2515-2527, JCR IF (2005): 4.148 Tipopologija: 1.01 - Izvirni znanstveni članek COBISS.SI-ID: 1920113 Nazaj 5 Navedite največ pet najpomembnejših družbeno-ekonomsko relevantnih rezultatov programske skupine, ki so nastali v času trajanja programa v okviru raziskovalnega programa, ki je predmet poročanja. Za vsak rezultat navedite naslov v slovenskem in angleškem jeziku (največ 150 znakov vključno s presledki), rezultat opišite (največ 600 znakov vključno s presledki) v slovenskem in angleškem jeziku, izberite ustrezen rezultat, ki je v Šifrantu raziskovalnih rezultatov in učinkov (Glej: http://www.arrs.gov.si/sl/gradivo/sifranti/sif-razisk-rezult.asp), navedite, kje je rezultat objavljen (največ 500 znakov vključno s presledki), izberite ustrezno šifro tipa objave po Tipologiji dokumentov/del za vodenje bibliografij v sistemu COBISS ter napišite ustrezno COBISS.SI-ID številko bibliografske enote. Navedeni rezultati bodo objavljeni na spletni strani http://sicris.izum.si/. Nazaj Program P3-0154 Stran 14 od 15 Zaključno poročilo o rezultatih raziskovalnega programa v obdobju 2004-2008 6 Pomen raziskovalnih rezultatov za razvoj znanosti in za razvoj Slovenije bo objavljen na spletni strani: http://sicris.izum.si Nazaj 7 Največ 4.000 znakov vključno s presledki Nazaj 8 Največ 4.000 znakov vključno s presledki Nazaj 9 Za raziskovalce, ki niso habilitirani, so pa bili mentorji mladim raziskovalcem, se vpiše ustrezen podatek samo v stolpec MR Nazaj 10 Vpisuje se uredništvo revije, monografije ali zbornika v skladu s Pravilnikom o kazalcih in merilih znanstvene in strokovne uspešnosti (Uradni list RS, št. 39/2006,106/2006 in 39/2007), kar sodi tako kot mentorstvo pod sekundarno avtorstvo, in delo (na zlasti nacionalno pomembnim korpusu ali zbirki) v skladu z 3. in 9. členom istega pravilnika. Največ 1000 znakov (ime) oziroma 150 znakov (število) vključno s presledki. Nazaj 11 Navedite oziroma naštejte konkretne projekte. Največ 12.000 znakov vključno s presledki. Nazaj 12 Navedite konkretne projekte, kot na primer: industrijski projekti, projekti za druge naročnike, državno upravo, občine ipd. in ne sodijo v okvir financiranja pogodb ARRS. Največ 9.000 znakov vključno s presledki. Nazaj 13 Navedite objavo oziroma prevod (soobjavo) članov programske skupine strokovnega prispevka v slovenskem jeziku, ki se nanaša na povezavo znanja s slovenskim prostorom in za slovensko znanstveno terminologijo (Cobiss tip 1.04, 1.06, 1.07, 1.08, 1.09, 1.17, 1.18, 2.02, 2.03, 2.04, 2.05, 2.06). Napišite naslov (največ 150 znakov vključno s presledki), kratek opis (največ 600 znakov vključno s presledki), navedite, kje je objavljen/a (največ 500 znakov vključno s presledki) ter napišite ustrezno COBISS.SI-ID številko bibliografske enote. Nazaj 14 Navedite objavo oziroma prevod (soobjavo) članov programske skupine, povezano s popularizacijo znanosti (Cobiss tip 1.05, 1.21, 1.22, 2.17, 2.19, 3.10, 3.11, 3.12). Napišite naslov (največ 150 znakov vključno s presledki), kratek opis (največ 600 znakov vključno s presledki), navedite, kje je objavljen/a (največ 500 znakov vključno s presledki), ter napišite ustrezno COBISS.SI-ID številko bibliografske enote. Nazaj 15 Komentar se nanaša na 18. točko in ni obvezen. Največ 3.000 znakov vključno s presledki. Nazaj Obrazec: ARRS-ZV-RPROG-ZP/2008 v1.00a Program P3-0154 Stran 15 od 15