MERITVE USPEŠNOSTI KNJIŽNIC IN ŠTUDIJ BIBLIOTEKARSTVA
Dr. Matjaž Žaucer, Centralna tehniška knjižnica, Ljubljana,
Urška Fabjan, študentka, Oddelek za bibliotekarstvo, Filozofska fakulteta, Ljubljana
UDK 378.602:025 UDK 025:378.602
Povzetek
V članku je prikazan pomen vrednotenja in meritev uspešnosti delovanja knjižnic. Opisana je meritev srednjega časa dostave dokumentov iz zaprtega skladišča v eni knjižnici po metodologiji standarda ISO 11620. Nadalje so prikazani pomen kreativnega reševanja problemov v tranzicijskem času knjižnic ob hitrem razvoju tehnologije in primeri izkoriščenih priložnosti v nekaterih tujih knjižnicah. Na koncu je opisana povezava timskih meritev uspešnosti delovanja knjižnic s kreativnim reševanjem problemov pri seminarskih nalogahštudentov bibliotekarstva. Podani so rezultati merjenj srednjega časa iskanja dokumentov v prostem pristopu z analizo stanja in nekaterimi predlogi študentov za izboljšave.
UDC 378.602 :025 UDC 025:378.602
Summary
The article presents the significance of evaluation and measurement of library performance. The measurement of the medium time of document delivery from closed stacks in one library according to the methodology of standard ISO 11620 is described. Further, the significance of creative problem solving in libraries in transition in the light of fast technological development is presented, followed by cases of used opportunities from foreign libraries. In the conclusion, the link between time measurements of library performance and creative problem solving in the frames of seminar papers of students of librarianship is presented. The results of the measurements of the medium time of document search in open access are presented together with the analysis of the state of affairs and some students' suggestions for improvements.
ŽAUCER, Matjaž; Urška FABJAN: Measurements of library performance and study of librarianship. Knjižnica, Ljubljana, 42(1998)4,105 -125
1. Uvod
Današnji svet hitrih sprememb zahteva v knjižnicah strokovni in osebnostni razvoj zaposlenih. Pogosto beremo o tranzicijskem obdobju knjižničarstva, celo o krizi knjižničarstva. Krizaje kar pravi izraz, če jo razumemo kot Kitajci, ki imajo simbol za krizo sestavljen iz simbola za nevarnost in simbola za priložnost*1'.
Slika 1: Kitajski simbol za krizo je sestavljen iz simbola za nevarnost in simbola za priložnost.
Sposobni knjižničarji, ki bodo znali izkoristiti možnosti, ki jih ponuja izredni razvoj tehnologije, bodo dvignili in utrdili svoj položaj, še posebej v tradicionalnih okoljih. Časi, ko je bila knjiga življenjska vrednota ljudi, ko je bil obstoj knjižnic samoumeven, ko so se za knjižnice gradile monumentalne zgradbe, minevajo. Danes je knjiga le eno od komunikacijskih sredstev, komunikacijske povezave in elektronska dostopnost gradiv so pomembnejše od knjižničnih zgradb, obstoj knjižnic pa je pogojen s poslovanjem glede na opredeljene cilje in z izpolnjevanjem načrtovanih nalog. Tako ni več dovolj, da knjižnica obstaja, ampak mora dobro delovati in to tudi dokazovati. V knjižnice vložena javna ali podjetniška sredstva morajo biti gospodarno uporabljena. Zato sta postala merjenje uspešnosti in vrednotenje delovanja bistvena sestavna elementa managementa knjižnic v razvitem svetu. Zahteve po učinkovitosti knjižnic so se v zadnjih letih močno povečale.
Meritve uspešnosti in vrednotenje delovanja opravljajo knjižničarji zaradi različnih motivov: zaradi profesionalne odgovornosti do dela, zaradi odgovornosti do uporabnikov, zaradi odgovornosti do financerjev in matičnih organizacij in ne nazadnje zaradi odgovornosti do davkoplačevalcev.
Zelo pomemben vpliv na knjižnice je v zadnjem času vpliv sprememb. Zaradi sprememb v okolju in hitrega razvoja tehnologije, doživlja tudi knjižničarstvo velike spremembe, ki so različne v različnih tipih knjižnic.
Spremembe v akademskem okolju, ki vplivajo na visokošolsko knjižničarstvo, so najbolj izrazite v ZDA. Tam govorijo celo o tihi revoluciji(2). Na mnogih ameriških univerzah tehtajo zaradi tehnoloških, finančnih in kon-
kurenčnih razlogov vsebine, usmeritve in načine učenja. Zaradi potreb študentov po osvojitvi informacijskih spretnostih se knjižničarji aktivno vključujejo v pedagoški proces. Tako so nekateri knjižničarji obremenjeni ob vsakodnevnih storitvah še z raziskovalnim in pedagoškim delom.
Razvoj tehnologije je premaknil težišče knjižničarskega delovanja s tiskanih medijev na elektronske in na intranet. Elektronske revije se počasi, a odločno uveljavljajo, saj izboljšujejo znanstveno komuniciranje. Njihove prednosti so v lažji dosegljivosti z delovnih miz oziroma računalnikov, v hiper povezavah referenc s celotnimi citiranimi besedili, v manjših založniških stroških itd. Digitalne verzije so danes večinoma dodatek tiskanim publikacijam. Ob tem založniki preskušajo, ah bi lahko izkoristili situacijo in okrepili svoje pozicije. Proučujejo ponudbo neposredno končnim uporabnikom (raziskovalcem) brez posredništva knjižnic. Mnogi založniki ponujajo elektronsko verzijo revij le ob naročilu tiskane, navadno za doplačilo 10 odstotkov. Hkrati vsiljujejo knjižnicam razne omejitve, npr. omejitve kopiranja za medknji-žnično izposojo in dobavo dokumentov, pogojujejo nabavo minimalnega števila elektronskih revij, omejujejo pravice odpovedovanja oziroma zahtevajo naročila za več let.
Za informacijsko podporo organizacijam je danes mnogo pomembnejši dobro organiziran intranet kot pa klasična knjižnica. Zato se mora vse več knjižničarjev ali informatikov deloma ali v celoti ukvarjati z organizacijo intraneta in z vsem, kar k temu spada.
Bibliotekarji le s težavo sledijo razvoju tehnologije in so prisiljeni v velik obseg vseživljenskega izobraževanja. Študiji bibliotekarstva so premalo orientirani na bodoče naloge bibliotekarjev ali informatikov. Težko je predvideti vlogo bibliotekarjev za več let vnaprej, jasno pa je, da bodo morali biti zelo fleksibilni, pripravljeni in sposobni opraviti najrazličnejše naloge in sposobni hitrega učenja novosti.
Namen članka je trojen:
-	prikazati pomen vrednotenja in meritev uspešnosti delovanja knjižnic,
-	prikazati pomen kreativnega vodenja in reševanja problemov v knjižnicah ter
-	pomen vključitve obeh tem v študij bibliotekarstva.
2. Meritve uspešnosti delovanja in vrednotenje dela knjižnic
2.1. Od zbiranja statističnih podatkov do meritev uspešnosti delovanja
Knjižničarji že od nekdaj radi beležijo statistične podatke o delovanju knjižnic, zlasti tiste, ki se jih da relativno enostavno zajemati, kot npr. prirast knjižničnega gradiva, število uporabnikov, število izposojenih enot itd. in zbirajo podatke s pomočjo najrazličnejših anket. Te podatke nato navadno primerjajo s kvantitativnimi standardi. V izdelavo kvantitativnih standardov, področnih, nacionalnih ali mednarodnih, so knjižničarji vložili veliko truda. Na osnovi primerjave podatkov posamezne knjižnice z mednarodnimi standardi lahko knjižnica dokazuje, da ima premalo sredstev oziroma da s svojimi resursi ne dosega mednarodnih standardov in tako lažje izvaja pritisk na svoje financerje.
Zbrani in objavljeni podatki pa so zelo težko primerljivi, ker merilne metode in statistični kazalci niso dovolj natančno definirani. Npr. pri številu uporabnikov je velika razlika med knjižnico, ki nima članarine in beleži kot uporabnike vse, ki so kdajkoli, npr. že kot osnovnošolci ali dijaki, prihajali v knjižnico in drugo knjižnico, ki zaračunava svojim uporabnikom članarino in beleži le uporabnike s plačano članarino.
Po drugi strani pa je lahko med dvema knjižnicama, ki sta obe enako nadpovprečni v primerjavi z mednarodnimi kvantitativnimi standardi (imata lahko bogatejši fond na prebivalca, večjo kvadraturo, več sredstev, večjo izposojo itd.) velika razlika v uspešnosti delovanja in v zadovoljstvu uporabnikov (razlika v relevantnosti gradiva, v kakovosti storitev itd.).
Ker zbiranje podatkov za statistična poročila ne zadošča za poglobljeno vrednotenje dela knjižnic, so se v svetu že pred desetletjem lotili sistematičnega merjenja uspešnosti delovanja knjižnic. Sekcija za univerzitetne in splošne raziskovalne knjižnice Mednarodne zveze knjižničarskih združenj in organizacij IFLA si je izbrala meritve uspešnosti delovanja za osrednjo delovno temo že leta 1988(3). Priročnik s kazalci uspešnosti delovanja za splošne knjižnice je izšel leta 1990(4). O meritvah uspešnosti delovanja knjižnic je napisanih precej člankov, knjig in priročnikov15'. Leta 1998 je tehnični odbor Informatika in dokumentalistika (ISO/TC 46) pri Mednarodni organizaciji za standardizacijo ISO po dolgih pripravah sprejel še mednarodni standard Informatika in dokumentalistika - Kazalci uspešnosti delovanja knjižnice, ISO 11620(5). Število člankov o meritvah uspešnosti delovanja knjižnic v podatkovni zbirki Library Literature je prikazano na Grafu 1.
Vidna je velika aktualnost te tematike pred približno desetimi leti in ponoven porast v zadnjih letih.
Graf1:Števllo č I a n k o v v podatkovni zbirki Library Literature (W lis ond Is c for Windows) 12 /8 4 - 7 /9 8 o meritvah uspeinosti delovanja k n již n ic (na iskalni profil: perform ance m easurem «nt") OR (performance Indicator*)
			—	—					i
	—				—	it	rf	—	
cn n n									n
1984 1986 1988 1990 1992 1994 1996 1998
L e ta
Grafi
Knjižnice lahko vrednotimo v glavnem na dva načina (glede na smotre vrednotenja pa še na več načinov'6,7*): s primerjavo kazalcev uspešnosti posamezne knjižnice s standardiziranimi in normiranimi vrednostmi ali s primerjavo z drugimi knjižnicami. Obe metodi imata svoje prednosti in pomanjkljivosti. Primerjanje med knjižnicami je lahko uspešno le, če primerjane knjižnice delujejo v približno enakih razmerah. Primerjanje uspešnosti delovanja podobnih knjižnic nam pove precej več kot le primerjanje posamezne knjižnice z izbranimi normativi in je v svetu zato tudi bolj cenjeno. Za oba načina vrednotenja knjižničnih storitev in drugih opravil pa potrebujemo točno definirane kazalce.
Z meritvami in ocenjevanjem uspešnosti knjižnice bomo zanesljiveje spoznali dejansko stanje v knjižnici. Na osnovi tega bomo lažje načrtovali potrebne aktivnosti, jih razvrščali po pomembnosti, sprejemali odločitve in razvrščali resurse. Z meritvami lažje primerjamo delovanje sorodnih knjižnic in spremljamo dosežen napredek.
2.2. Mednarodni standard ISO 11620
Namen standarda je razmahniti vrednotenje knjižničnih storitev in drugih knjižničnih aktivnosti in razširiti znanje o meritvah predvsem v tiste dežele, kjer merjenje uspešnosti delovanja še ni uveljavljeno.
Kazalci uspešnosti delovanja, zbrani v standardu ISO 11620, so primerni za uporabo v vseh tipih knjižnic v vseh deželah. Zajeti so le tisti kazalci, ki se
že na široko uporabljajo ali pa so v strokovni literaturi dobro opisani. Za nekatere knjižnične dejavnosti pa takih dobro definiranih in uveljavljenih kazalcev še ni. S kazalci lahko primerjamo uspešnost delovanja posamezne knjižnice v različnih časovnih obdobjih ah pa primerjamo, z določeno stopnjo previdnosti zaradi različnih razmer v knjižnicah, tudi knjižnice med seboj.
Namen kazalcev uspešnosti delovanja knjižnice je, da jih uporabimo kot sredstvo za oceno kakovosti in uspešnosti storitev in drugih aktivnosti knjižnice ter učinkovitosti materialnih in človeških virov, ki jih je knjižnica namenila za te storitve in aktivnosti.
Pri izboru kazalcev za standard ISO 11620 je bilo upoštevanih več kriterijev. Kazalci uspešnosti delovanja so informativni. To pomeni, da pokažejo doseženo stanje in identificirajo probleme in slabosti knjižnice, tako da se da sprejeti odločitve in aktivnosti za izboljšanje. Druga njihova lastnost je zanesljivost, ki pomeni, da pokažejo vedno isto stanje, če jih večkrat uporabimo v enakih okoliščinah. Kazalci so nadalje učinkoviti, tako da lahko z njimi pomerimo tisto, kar želimo in prilagodljivi dejavnostim v knjižnici, da nam pokažejo realno stanje. In končno, kazalci so dovolj praktični, da lahko izvedemo meritve s sprejemljivim vložkom Časa, dela in denarja ter primerljivi, tako da lahko z njimi primerjamo različne knjižnice. Vsak kazalec uspešnosti delovanja knjižnice ima v standardu edinstveno opisno ime, definicijo, opis in obseg uporabe.
V standardu ISO 11620 je definiranih približno trideset kazalccv uspešnosti delovanja knjižnice. Za primer si podrobno poglejmo en izbran kazalec in sicer "Srednji časa iskanja dokumentov v prostem pristopu". Namen uporabe tega kazalca uspešnosti delovanja knjižnice je oceniti, ali oznake in postavitev gradiva omogočajo primeren dostop do gradiv. Kazalec je uporabljiv v vseh vrstah knjižnic, ki imajo vsaj del gradiva v prostem pristopu. Primerjave med knjižnicami na osnovi tega kazalca so možne, če upoštevamo razlike v dolžini poti med katalogom in gradivom. Kazalec je definiran kot srednji čas intervalov od zaključka iskanja po katalogu do trenutkov, ko dokumente najdemo na policah.
Metoda izvedbe meritve je določena z naslednjim: izberi reprezentativen (naključen) vzorec naslovov (enot) gradiva, ki so v knjižnici v prostem pristopu; preveri, da so vsi naslovi razpoložljivi in na pravem mestu na polici; oseba, ki je uporabniško domača v knjižnici, naj poišče določeno število naslovov, tako da jih najprej najde v katalogu in nato poišče na poticah; naslove, ki jih ne najde, izločimo iz vzorca; za vsak dokument se beležita začetek in konec iskanja v minutah in izračuna čas iskanja; zapise v tabeli z naslovi in časi iskanja se razvrsti po času iskanja v minutah; "Srednji čas iskanja dokumentov v prostem pristopu" (mediana) je po definiciji enak
času iskanja dokumenta, ki je v sredini razvrstitve po minutah (če je v tabeli sodo število časov, pa povprečje srednjih dveh časov, zaokroženo na celo minuto).
Če je "Srednji čas iskanja dokumentov v prostem pristopu" nekaj minut, smatramo, da je stanje dobro, drugače se moramo zamisliti in ugotoviti, kaj je narobe (oznake na in med policami, dolžina poti med katalogom in gradivom ah zapleten sistem postavitve).
Standard ISO 11620 je potrebno čimprej sprejeti kot slovenski standard, saj je smiselno, da se čim širše uporablja (tudi zato, ker so izvodi slovenskih standardov cenejši od izvodov mednarodnih standardov). Ker slovenska terminologija s tega področja še ni povsem uveljavljena, bi bilo potrebno vsaj del standarda prevesti, kljub temu da v Sloveniji nimamo ne kadrovskih ne finančnih možnosti, da bi prevedli vse standarde in predpise, ki jih bomo zaradi vse obsežnejše globalizacije v bodoče uporabljali. Knjižničarstvo ne spada med prioritetna področja Urada za standardizacijo in meroslovje RS, zato bo težko pridobiti finančna sredstva za prevod.
Zaradi tega je komisija za standardizacijo ZBDS pripravila slovenske ustrez-nike angleškim terminom v definicijah standarda in predlaga njihovo uporabo do strokovnega prevoda standarda ISO 11620 (Tabela 1). Žal je Bibliotekarska terminološka komisija odklonila obravnavo izvzetih ustreznikov brez celotnega prevoda, pripravljena pa je pregledati prevod standarda, ko ga bomo dobili.
Tabela 1: Seznam slovenskih ustreznikov angleškim definicijam v standardu ISO 11620 (kjer je več alternativnih ustreznikov, je na prvem mestu naveden tisti, ki ji bil všeč večini članov komisije)
1	accessibility	dostopnost
2	appropriateness	ustreznost ali primernost
3	availability	razpoložljivost
4	document	dokument
5	effectiveness	uspešnost ali efektnost
6	efficiency	učinkovitost
7	evaluation	vrednotenje
8	facilities	prostor in oprema
9	goal	končni cilj ah smoter ah strateški cilj ah dolgoročni cilj ah ciljno stanje
10	indicator	kazalec
11	library	knjižnica
12	loan	izposoja
13	mission	poslanstvo ali izjava o poslanstvu
14	objective	cilj ali kratkoročni, operativni ali vmesni cilj)
15	performance	uspešnost delovanja ali izvedbena uspešnost
16	performance indicator	kazalec uspešnosti delovanja ali kazalec izvedbene uspešnosti
17	population to be served	možni uporabniki
18	quality	kakovost
19	reccurent expenditure	stroški
20	reliability	zanesljivost
21	resources	materialni in človeški viri
22	target population	populacija
23	title	naslov
24	user	uporabnik
25	validity	veljavnost
2.3. Meritve uspešnosti delovanja v slovenskih knjižnicah
Za razliko od mnogih držav, kjer so na nacionalnem nivoju spodbudili meritve uspešnosti delovanja knjižnic'8', v Sloveniji velika večina knjižnic še ni začela sistematično izvajati meritev uspešnosti delovanja. Na to temo je bilo pri nas napisanih le nekaj člankov'9"13'. Normativi za financiranje knjižnic so zastareli in ne vsebujejo finančnih vzpodbud za uspešnejše in učinkovitejše knjižnice'10'. Slabega stanja pri vrednotenju delovanja knjižnic se ne da spremeniti čez noč, ampak so potrebna leta za razumevanje pomena vrednotenja delovanja, za osvojitev potrebnih znanj, za izvedbo meritev, za primerjave kazalcev med knjižnicami, za vgraditev vzpodbud za dobro delo v finančne mehanizme itd.
Profesionalno odgovorne knjižnice bodo takoj začele vrednotiti svoje delovanje po kazalcih standarda ISO 11620, manj zagrete pa bodo vzpodbudili financerji. Smiselnobibilo, dabi financerji knjižnicam dodeljevali del denarja (variabili del) glede na s kazalci dokazano uspešnost delovanja. Meritve so tudi politično dejanje, saj z njimi vzpodbudimo zaposlene v knjižnicah v razmišljanje o delovanju in organiziranosti knjižnice.
Ker je kazalcev uspešnosti v standardu preveč, da bi meritve zmogli v kratkem času, je smiselno izvesti predvsem tiste meritve, s katerimi preverjamo po našem mnenju najbolj kritične faze delovanja knjižnice in s katerimi lahko bolje načrtujemo delo knjižnice.
Pred začetkom meritev se moramo vprašati:
-	kaj je namen meritev,
-	katere probleme želimo rešiti,
-	na katera vprašanja bi radi dobili odgovor,
-	kaj je predmet oziroma nivo vrednotenja (storitev, oddelek, cela knjižnica),
-	kateri kazalci bi lahko bili koristni,
-	s katerim kazalcembomo dobili odgovor na vprašanje, ki ga želimo rešiti?
2.3.1. Meritev srednjega časa dostave dokumentov iz za obiskovalce zaprtega skladišča
Centralna tehniška knjižnica Univerze v Ljubljani (CTK) se je leta 1997 odločila, da bo začela izvajati meritve uspešnosti delovanja s pomočjo kazalcev iz tedanjega osnutka standarda ISO/DIS 11620 pa tudi na druge načine. Za nekatere najpomembnejše elemente kakovosti storitev, npr. za relevantnost nabavljene periodike, v standardu ni kazalcev uspešnosti. Zato so v CTK za ovrednotenje relevantnosti periodike izdelali svojo metodologijo'14'. Za vrednotenje storitev izposoje pa je izbrala metodo ravnokar izdanega standarda ISO 11620(S).
CTK ima v prostem pristopu le novejše gradivo, starejše obiskovalci naročij o iz skladišča v kleti zgradbe. Na dostavo večina obiskovalcev počaka, zato je hitrost dostave pomemben element kakovosti storitev. Mnenje knjižničarjev izposojevalcev pred meritvijo je bilo, da je večina gradiva obiskovalcem dostavljena v 10 do 15 minutah.
Da bi bili rezultati meritev čimbolj objektivni, sta meritev pripravila le en knjižničar in ravnatelj, drugi knjižničarji o nameravani meritvi niso bili obveščeni. Dveh merilcev, študentke in študenta bibliotekarstva, ki sta opravila meritev preko storitev Študentskega servisa, ni v knjižnici nihče poznal. Merilca sta dobila navodilo ravnatelja, da ob morebitnih vprašanjih izposojevalcev meritev prikrivata.
Nekaj tednov pred meritvijo sta eden od zaposlenih knjižničarjev in ravnatelj pripravila povprečen vzorec naslovov gradiv (dokumentov). Vzorec je zajemal različne vrste gradiva po tematiki, po jeziku, po obliki, po lokaciji v skladišču itd. Na zahtevkih za izposojo so bili izpisani le zadostni podatki za identifikacijo gradiva. Da ne bi knjižnični manipulanti v skladišču prepoznali pisave kolega knjižničarja na zahtevkih, sta merilca listke prepisala. Meritev je potekala 10.4.1998 tako, da sta merilca, eden dopoldan, eden popoldan, na vsako uro oddala šest do sedem zahtevkov za dostavo gradiva in merila čas dostave. Dostavljenih je bilo 74 dokumentov v času dostave od 8 minut do 46 minut. Srednji čas dostave dokumentov (mediana) je bil 15 I
minut. Knjižničarji izposojevalci so uganili iz različnosti zahtevkov in količine izposojenega, da ne gre za običajno izposojo, šele v drugi polovici meritev in razkritje ni vplivalo na čase dostave dokumentov.
Rezultat meritev je pokazal, da je občutek izposojevalcev o tipičnem času dostave preoptimističen. Časi dostave v meritvi so nekoliko daljši tudi zato, ker sta merilca dobila gradivo šele, ko je bila z dvigalom dostavljena zadnja enota gradiva iz posameznega paketa zahtevkov ob vsaki uri. Po meritvi so knjižničarji izposojevalci predlagali nekaj ukrepov, s katerimi bi lahko ob pozornem delu skrajšali čase dostave.
3. Kreativno reševanje problemov v knjižnicah
3.1. Pomen kreativnega vodenja in kreativnega reševanja problemov v knjižnicah
Ker so spremembe v knjižničarstvu hitre in obsežne, se morata temu prilagoditi tudi organizacija in vodenje knjižnic. Naprednejše knjižnice se re-strukturirajo, nekatere so že opustile hierarhično organizacijsko strukturo, namesto oddelkov formirajo le stalne in občasne delovne time(15). Kreativno vodenje in kreativno reševanje problemov postajata vedno bolj pomembna. Sedanji vodje knjižnic si morajo ta znanja pridobiti s sprotnim vseživljenj-skim izobraževanjem, bodoči pa z uvedbo teh spretnosti v bibliotekarske študije.
Poglejmo na dveh izbranih tipičnih primerih, kakšne vplive okolja doživljajo knjižnice in kako se na spremembe odzivajo.
3.2. Trendi v visokošolskem knjižničarstvu v ZDA
Spremembe v knjižničarstvu so najhitrejše v tehnološko najbolj razvitih deželah in na najhitreje razvijajočih se področjih. Velike spremembe v ameriških visokošolskih knjižnicah nastajajo predvsem zaradi sprememb v njihovem okolju'2'. Značilnosti zadnjega časa na ameriških univerzah so:
-	močnejša konkurenca univerz, tekma za študente,
-	večje zahteve financerjev,
-	hkratno ukvarjanje s poučevanjem, raziskavami in storitvami, I 1 4 -	pojav profitnih univerz (npr. v Phoenixu v Arizoni).
Zaradi teh sprememb v univerzitetnem okolju in zaradi novih izzivov, kot so učenje na daljavo in razširitev vseživljenjskega učenja, so ameriški knjižničarji napravili znaten napredek zlasti v:
-	spemenjenih delovnih postopkih,
-	ravnanju z elektronskimi infrormacijami,
-	pristopu do elektronskih informacij in njihovi uporabi za učenje in poučevanje.
Pred visokošolskimi knjižničarji stojijo naslednji izzivi:
-	vključitev informatike v učne obveznosti,
-	poučevanje študentov,
-	pomoč učnemu osebju fakultet,
-	zagotovitev pogojev za študij (prostori za kolektivno učenje, interaktivni telekonferenčni centri, računalniške učilnice, priprava elektronskih publikacij itd.).
Akademske knjižničarje naslednjega stoletja bodo ocenjevali, kako dobro povezujejo uporabnike z informacijami in znanjem (ne glede na lokacijo resursov), torej po njihovi aktivni vlogi. Zato morajo knjižničarji opustiti tradicionalno konservativno obnašanje in postati inovatorji, vodje, v odnosih s pedagoškim osebjem. Tisti, ki so na učnih delavnicah pred leti uvajali fakultetne kolege v svetovni splet in jim pomagali z nasveti, so danes v boljši poziciji, saj njihovi kolegi vedo, pri kom lahko iščejo informacije in pomoč.
Vključevanje knjižničarjev v pedagoški proces poteka z zaznavnim odporom mnogih knjižničarjev v ZDA, sposobnejši pa so sprejeli izziv in se ob nudenju storitev začeli ukvarjati še z raziskovalnim in pedagoškim delom.
3.3. Trendi v specialnih knjižnicah
Transformacijo specialnega knjižničarstva si lahko pogledamo na izstopajočem primeru raziskovalne knjižnice in informacijskih servisov avtomobilske korporacije Ford(16). V tem servisu je zaposlenih 20 ljudi, od tega jih 11 dela na intranetu v skupnem obsegu 4,5 človek*leto. Njihova knjižnica je 24 ur/dan na razpolago uporabnikom Fordove korporacije po vsem svetu. Leta 1997 so posredovali 19.000 informacij, od tega približno 650 zahtevnejših (od 3 ur do 3 mesecev dela v skupni vredosti 10.000 USD stroškov online poizvedb). Posredujejo znanstveno tehnične, poslovne, pravne informacije ter delajo primerjalne študije. V zadnjih treh letih beležijo porast zahtevkov za 20% letno. Veliko se ukvarjajo z elektronsko založniško dejavnostjo, medtem ko katalogizacijo, medknjižnično izposojo, kopiranje in nekaj poiz-
vedb iz zunanjih virov prepuščajo cenejšim zunanjim servisom. Svoje uporabnike spodbujajo k samostojni izvedbi enostavnejših poizvedb.
Fordova raziskovalna knjižnica in informacijski servis se torej odlikuje po:
-	preobrazbi iz klasične knjižnice (knjige, revije, poizvedbe) v center sposobnih ljudi, pripravljenih prevzeti najrazličnejše naloge,
-	zadolžitvi za intranet, extranet, elektronsko založništvo in data mining, sposobnostih prevzeti različne naloge, odnosih z uporabniki in vodstvom korporacije, itd.
Velika učinkovitost te knjižnice temelji na veliki stimulaciji in usposobitvi zaposlenih ter na izboru kadrov. Njihova izobrazbena struktura je zelo dobra, saj jih ima večina magisterij iz bibliotekarstva ali ekvivalentne smeri, nekateri imajo magisterij iz bibliotekarstva in tehnike, nekateri imajo MBA, drugi znajo tekoče japonščino, vodja ima magisterij iz bibliotekarstva in doktorat iz biologije ter bogate izkušnje v vodenju knjižnic. Njihove informacije daleč presegajo bibliografske, saj obvladajo spretnosti povezovanja informacijskih resursov, imajo sposobnost analiziranja in zgoščevanja informacij, spretnost patentnih poizvedb itd. Skrbijo za dopolnilna usposabljanja zaposlenih, saj se posamezniki izobražujejo najmanj 40 ur na leto na konferencah, seminarjih, tečajih itd. Velike pripombe imajo na formalno izobraževanje za bibliotekarstvo v ZDA, saj menijo, da so diplomanti magistrskega študija premalo usposobljeni za uporabo elektronskih medijev v vsej širini.
To je lep primer, kako je knjižnica sprejela izziv tehnologije in spremenjene potrebe uporabnikov ter v treh letih prerasla iz klasične knjižnice v učinkovitejši informacijski servis.
3.4. Odzivi knjižničarjev na spremembe
Spremembe so nujna stalnica knjižničarskega sveta, knjižničarji pa imamo že po naravi odpor do njih in se ne prilagajamo ne dobrovoljno ne dovolj hitro. Kljub tradicionalnosti ali celo reakcionarnosti(2) knjižničarjev se moramo spremenjenih okoliščin zavesti in skušati po najboljših močeh in znanju napraviti korak naprej. Navedena primera kažeta, kako se da otresti slabega statusa in izboljšati kakovost storitev.
4. Meritve uspešnosti delovanja knjižnic in kreativno reševanje problemov pri študiju bibliotekarstva
4.1. Vključitev meritev uspešnosti delovanja knjižnic in kreativnega reševanja problemov v študij bibliotekarstva
Meritve uspešnosti delovanja knjižnic bodo počasi postale trajno opravilo knjižničarjev in jih bodo morah izvajati knjižničarji v vseh knjižnicah, zato je smiselno, da se z njihovimi osnovami seznanijo že študenti bibliotekarstva. Po drugi strani pa bo zaradi hitrega tempa razvoja knjižničarstva kreativno reševanje problemov na vseh nivojih od menedžerskega do strokovnega vedno bolj čislano.
Meritve uspešnosti delovanja knjižnic in kreativno reševanje problemov so bih vključeni v študijskem letu 1997/98 v predmet Sodobna organiziranost bibliotekarstva na samostojnem študiju bibliotekarstva na Filozofski fakulteti Univerze v Ljubljani. Pri tem predmetu se morajo študenti usposobiti za obravnavanje in razreševanje teoretičnih in metodoloških vprašanj pri organiziranju in delovanju vseh vrst knjižnic in delovnih postopkov v knjižnicah. Ker je organizacijskih modelov knjižnic v praksi veliko in ker so ti zelo odvisni od okolja, v katerem knjižnica deluje, je pogosto učinkoviteje poiskati lastne rešitve kot prenašati tuje vzglede. Pomembneje je analizirati razmere v posamezni knjižnici in njeni okolici in poiskati tem razmeram učinkovito organizacijsko obliko. Poleg teoretičnih osnov je bila študentom priporočena neobvezna seminarska naloga na združeni temi meritev uspešnosti delovanja knjižnic s kreativnim reševanjem ugotovljenih problemov.
4.2. Seminarske naloge "Merjenje srednjega časa iskanja dokumentov v prostem pristopu"
Velika večina študentov drugega letnika enopredmetnega študija bibliotekarstva, razdeljenih v delovne tirne od 2 do 7 oseb, je izvedla meritve v posameznih knjižnicah, analizirala stanje in probleme, se ponekod pogovorila z osebjem knjižnic in predlagala možne rešitve problemov oziroma izboljšave.
4.2.1. Vzorčenje
Da bi študentke in študenti pridobljeno teoretično znanje iz predmeta Sodobna organiziranost bibliotekarstva I., predvsem o timskem delu, meritvah
uspešnosti delovanja knjižnic in o kreativnem reševanju problemov, tudi praktično uporabili, so izvedli meritve srednjega časa iskanja dokumentov v prostem pristopu in v obliki seminarske naloge rezultate analizirali in predlagali izboljšave.
Prva stopnja izvajanja meritev je bila izbrati vzorček knjig, katerih srednji čas iskanja bi merili. Izbrali so majhen reprezentativen vzorček, ki je obsegal skupno večinoma 80 knjig (40 strokovnih in 40 leposlovnih); sestavljen je bil v povprečni slovenski splošnoizobraževalni knjižnici tipa HI. (za 20.000 do 50.000 prebivalcev). Vzorček je bil bolj ah manj naključno izbran, saj ni bil narejen v posameznih knjižnicah, kjer so se izvajale meritve, pač pa se je prisotnost knjig v knjižnicah preverjala sproti preko računalaniškega kataloga. Za vzorčenje monografij iz UDK skupin 0,1, 2, 3, 5, 6, 7 in 9 je veljal naslednji sistem : vsaka monografija je morala biti katalogizirana oziroma vnešena v katalog pod stvarno značnico, gradivo pa ni smelo biti izdano pred letom 1990. Monografije, uvrščene v vzorček UDK skupine 8 pa niso vzorčene po nekem sistemu. Izbrani vzorček so večinoma uporabile vse skupine in sicer zaradi kasnejše lažje primerjave med knjižnicami.
Pri vzorčenju v šolskih knjižnicah je prevladovalo predvsem leposlovno gradivo (čtivo za domače branje in za zabavo), strokovnega gradiva pa je precej manj - pojavljajo se učbeniki in razni priročniki. Tudi vzorec v šolski knjižnici je bil izbran naključno.
4.2.2. Izvedba meritev
Skupine so se prostovoljno odločile za knjižnice, v katerih so izvajale meritev. Izbrale so 11 slovenskih knjižnic, od tega največ iz Ljubljane.
Pred samo meritvijo srednjega časa iskanja dokumentov v prostem pristopu knjižnice so bibliotekarji v izbranih knjižnicah študentkam in študentom najprej razkazali prostore, kjer se dokumenti nahajajo ter pojasnili postavitev gradiva (sistem univerzalne decimalne klasifikacije), tako kot je tega deležen vsak nov član knjižnice.
Ker dokumenti, locirani v zaprtem skladišču predstavljajo časovno oviro pri iskanju, so bih le-ti (pri predstavitvi rezultatov) izločeni od ostalih dokumentov, ki so uporabnikom na voljo v prostem pristopu.
Za izvedbo meritev si je vsaka skupina izbrala enega izmed naslednjih načinov:
1. ko je študent v računalniškem katalogu našel podatek o lokaciji publikacije, je začel meriti čas, v katerem je našel publikacijo na polici; čas je meril vsak študent sam;
2.	pri meritvi časa iskanja posameznih dokumentov sta sodelovala dva študenta; ko sta našla dokument v računalniškem katalogu, je en študent šel med police iskat želen dokument, drugi pa je medtem meril čas iskanja; potem sta vlogi zamenjala;
3.	v svoje delo so študentje vključili naključne uporabnike; študenti so v računalniškem katalogu preverili, če je knjiga prisotna, potem pa so merili čas iskanja (pri tem vsi uporabniki niso vedeli, da študentje merijo čas, v katerem si bodo sami poiskali želeno knjigo in sicer z namenom, da ne bi dejstvo, da gre za merjenje, vplivalo na iskanje uporabnikov).
4.2.3. Rezultati in diskusije
Vodje skupin so zbrali čase merjenj, jih uredili in s pomočjo mnenj članov skupine, ki so izvajali meritev, napisali rezultate, ki jih je skupina dosegla. Te rezultate je vsaka skupina potem predstavila ostalim študentom in predavatelju.
Tabela 2: Primerjava rezultatov meritev srednjega časa iskanja dokumentov v prostem pristopu, ki jih je izmerilo trinajst skupin študentk in študentov v različnih knjižnicah
Skupina	Knjižnica	Število iskane- 1 ga gradiva -skupaj	Število iskanega gradiva -strok. gr.	Število iskanega gradiva - leposlovje	Srednji čas -skupaj (min:s)	Srednji čas - strok.gr. (min:s)	Srednji čas -leposl. (min:s)
1	A	80	40	40	1:20	1:00	2:00
2	B	55	34	21	2:00	2:00	2:00
3	C	30	20	10	5:00	2:00	2:00
4	D	60	30	30	1:48	1:21	2:30
5	E	20	19	1	1:41	1:33	2:35
6	F	60	30	30	1:00	1:00	1:30
7	G	60	30	30	1:47	1:36	2:17
8	H	27	13	14	0:45	1:23	0:33
9	I	40	20	20	1:00	2:36	1:12
10	i	28	13	15	1:14	1:03	1:15
11	K	15	13	2	1:30	1:30	1:10
12	L	35	35	/	1:39	1:39	/
Q3	M	20	10	10	3:00	3:00	3:00
Rezultate so študentke in študenti podkrepili z argumenti. Le-ti so se največkrat nanašali na:
-	prostorsko razporeditev gradiva v knjižnicah; ni označeno, kaj se nahaja v skladišču in kaj v prostem pristopu,
-	gradivo imajo postavljeno v več nivojih,
-	na policah so oznake slabo vidne,
-	postavitev gradiva na policah, ki zavaja uporabnike (npr. gradivo "teče" od zgoraj navzdol namesto od leve proti desni),
-	neurejenost gradiva,
-	prevelika razdrobljenost gradiva na podskupine,
-	posebej ločeni učbeniki, knjige za domače branje in enciklopedije,
-	računalnik, ki bi bil namenjen uporabnikom knjižnice (npr. za katalog).
Pri tem se je razvila tudi diskusija, v kateri so bile izražene ideje, s čim bi lahko izboljšali posamezne knjižnice in s tem neposredno tudi srednji čas iskanja želenega gradiva v njej. Cilj načrtovanja izboljšav niso bile uniformne rešitve, ampak izboljšave primerne za posamezno knjižnico. Prišli so do dokaj podobnih ugotovitev (glej naštete argumente), kot se jih zavedajo tudi knjižničarji v pričujočih knjižnicah; vendar pa je za izboljšave v veliki meri potreben denar, zato veliko potencialnih izboljšav ostane le želja knjižničarjev in tudi uporabnikov knjižnic.
4.2.4. Rezultati in mnenja študentov za posamezne knjižnice
Knjižnica A: KNJIŽNICA BEŽIGRAD, Vodovodna c. 3, Ljubljana
Rezultat bi po mnenju študentov lahko izboljšali:
-	če bi že iz podatkov v katalogu izvedeli, da je gradivo v skladišču in ga ne bi iskali v prostem pristopu,
-	če bi bile police bolje označene (npr. večje barvne oznake),
-	če bi imelo gradivo nalepke na naslovni in ne na hrbtni strani,
-	če UDK v nekaterih skupinah ne bi bil tako razdrobljen (npr. skupini 7 in 8),
-	če bi postavitev gradiva tekla od leve proti desni in ne od zgoraj navzdol, ker meja med policami in skupinami UDK ni dobro vidna.
Knjižnica B: KNJIŽNICA OTONA ŽUPANČIČA, MESTNA KNJIŽNICA, Gosposka ul. 1, Ljubljana
Opažanja dejavnikov, ki so po mnenju študentk moteče vplivali na merjenje srednjega časa iskanja:
-	iz kataloga ni razvidno, ali je gradivo locirano v skladišču ali v prostem 120 pristopu,
-	gradivo znotraj skupin UDK ni urejeno (npr. po abecedi),
-	police so pomanjkljivo ali slabo označene,
-	nikjer ni sheme, ki bi pokazala razvrstitev gradiva po posameznih prostorih,
-	premalo terminalov za iskanje po računalniškem katalogu.
Knjižnica C: OBČINSKA KNJIŽNICA, Trg Toneta Čufarja 4, Jesenice
Študentki menita, da bi k boljšim rezultatom prispevali:
-	usmerjevalne table,
-	seznanitev uporabnikov z ureditvijo po sistemu UDK,
-	knjižnica v enem prostoru in na enem nivoju.
Knjižnica D: KNJIŽNICA A.T. LINHARTA, Gorenjska c. 27, Radovljica
Po mnenju študentov, ki so opravljali raziskavo, so vzroki za take rezultate naslednji:
-	strokovna literaratura je razdeljena glede na to, ali si jo sme uporabnik izposoditi na dom ali jo lahko uporablja v čitalnici; slednje so locirane v omarah, ki so neustrezne glede oblike in višine, pa tudi UDK ni v nekem logičnem zaporedju,
-	prevelika razdrobljenost leposlovja na podskupine,
-	knjige na policah so neurejene (zaradi "brskanja" uporabnikov po policah, ki potem knjige ne vrnejo na svoje mesto),
-	uporabnikom ni namenjenega računalniškega kataloga, pač pa le listkov-ni katalog.
Knjižnica E: KNJIŽNICA JOŽETA MAZOVCA, Zaloška c. 190, Polje
Na doseženi rezultat je vplivalo dejstvo, da je uporabnik, ki je iskal knjige, že poznal knjižnico, vedel, kje so nekatere knjige locirane ter da mu je znano delo z računalnikom.
Knjižnica F: KNJIŽNICA JOŽETA MAZOVCA, Zaloška c. 61, Ljubljana
Mnenje študentk, ki sta meritev izvajali:
-	znotraj skupin UDK ni označena vsaka črka abecede, pod katero je gradivo shranjeno,
-	postavitev gradiva po policah "od zgoraj navzdol" je za uporabnike zelo naporna,
-	računalniški terminali niso vezani na računalnik v izposoji, zato ni podatka, ali je knjiga, ki jo iščemo, v knjižnici ali ne,
-	nekatere knjige, ki so jih iskale na oddelku za odrasle, so bile locirane na oddelku za mladino.
Knjižnica G: KNJIŽNICA ŠIŠKA, Celovška c. 161, Ljubljana
Predlogi študentov za izboljšavo knjižnice Šiška:
-	večji prostori knjižnice (npr. prosti pristop),
-	postavitev gradiva - zlasti s področja leposlovja,
Knjižnica H: ŠOLSKI CENTER NOVO MESTO, Šegova ul. 112, Novo mesto
Študentke o tej šolski knjižnici menijo:
-	da so knjige lično razvrščene po UDK skupinah,
-	da so knjige za domače branje ter berila in učbeniki ločeni in da je to za šolsko knjižnico še posebej primemo,
-	da so navodila na steni v veliko pomoč uporabniku,
V knjižnici so izvedle tudi anketo med uporabniki, v njej pa so izvedele naslednje:
-	delovni čas knjižnice ustreza 69% uporabnikov,
-	na vprašanje, ali jim knjižnica nudi želeno gradivo, jih je večina (39%) odgovorila, da le včasih,
-	v knjižnici si največ izposojajo knjige za domače branje (58%),
-	47% anketiranih uporabnikov je povedalo, da skušajo najti gradivo najprej sami, sicer pa za pomoč zaprosijo knjižničarja,
-	do iskanega gradiva jih večina (39%) pride najhitreje, če jim pomaga knjižničar,
-	77% uporabnikov meni, da je postavitev gradiva v knjižnici primerna,
-	na vprašanje, kaj bi v knjižnici spremenili, jih večina (63%) ni odgovorila, pogosta odgovora pa sta bila večja izbira revij, CD-jev in knjig ter večja knjižnica,
-	tudi na vpršanje, kakšno literaturo uporabniki pogrešajo v šolski knjižnici, jih večina (54%) ni odgovorila, nekateri pa so odgovorili, da pogrešajo erotično (8%), športno (7%) ter sodobno znanstveno in strokovno literaturo (6%)
-	58% uporabnikov si šole brez knjižnice ne zna predstavljati,
-	splošno mnenje uporabnikov pa je, da so s knjižnico zadovoljni.
Knjižnica I: GIMNAZIJA ŠENTVID-LJUBLJANA, Prušnikova ul. 98, Ljubljana
Študentke imajo o ureditvi knjižnice pohvalno mnenje, saj menijo, da kljub temu da knjižnica nima kataloga za uporabnike, lahko uporabnik gradivo hitro najde; pohvalile so tudi oznake na policah.
Knjižnica J: KNJIŽNICA A.T. LINHARTA, Gorenjska c. 27, Radovljica
Ugotovitve:
-	neustrezne oznake vrstilcev UDK (splošne besedne oznake, podrobne oznake pa so premajhne),
-	naslovi znotraj enega avtorja naj bi bili urejeni po abecedi,
-	abecedna ureditev gradiva bi bila boljša od leve proti desni od začetka do konca vrste,
-	nekatero strokovno gradivo je preveč razdrobljeno in gaje potrebno iskati na več mestih,
-	priročna literatura je locirana na dveh mestih,
-	na mladinskem oddelku manjkajo oznake C-cicibani, P-pionirji in M-mladina; neurejeno pa je tudi gradivo za cicibane.
Knjižnica K: KNJIŽNICA MIRANA JARCA, Jenkova ul. 1, Novo mesto
Študent je pohvalil delo knjižničarjev v omenjeni novomeški knjižnici, vendar pa je omenil problem z lokacijo skladišč, za katerega upa, da se bo ob
otvoritvi nove knjižnice rešil.
Knjižnica L: KNJIŽNICA CELJE, Gledališki trg 6, Celje
Opažanja študenta:
-	police so neustrezno označene, kar otežuje iskanje,
-	nekatere knjige so naložene ena nad drugo, saj regali niso primerni za knjige formata A4,
-	v računalniku ni razvidno, ali je knjiga v prostem pristopu ali v skladišču,
-	knjige na policah so napačno locirane,
-	domoznanstvo je locirano na dveh mestih, kar bi lahko bilo moteče za uporabnike,
-	knjižne police so preveč natrpane,
-	uporabnike, ki so pomagali pri meritvi, je zmedlo dejstvo, da si sledijo dela na policah horizontalno in ne vertikalno,
Knjižnica M: KNJIŽNICA JOŽETA MAZOVCA, Zaloška c. 61, Ljubljana
Mnenje študentke o knjižnici Moste:
-	oznaka knjižnice je tako neznatna, da je študentka imela težave, da je knjižnico sploh našla,
-	v računalniku ni bilo podatka o tem, ali je iskana publikacija izposojena ali ne, temveč le podatek, ali jo ta knjižnica sploh hrani,
-	ponekod so UDK vrstilci lepo vidni, drugod pa jih sploh ni,
-	knjige na policah so neurejene,
-	problem je tudi prostorska stiska in hkrati premalo polic za vse gradivo.
5. Zaključek
Knjižnice v Sloveniji so v mnogih ozirih dobre. Na področju meritev uspešnosti delovanja pa močno zaostajajo za razvitim svetom, saj še niso začele sistematičnih meritev, npr. po metodologiji standarda ISO 11620. Zato je potrebno merjenja vzpodbuditi. Tiste knjižnice, ki bi z meritvami standardiziranih kazalcev uspešnosti delovanja pokazale, da so boljše, bi veljalo nagraditi s stimulativnim delom financiranja.
Knjižničarji ne izkoriščamo vseh možnosti, ki nam jih nudi tehnološki razvoj in se prepočasi odzivamo na spremembe v okolju. Po vzgledu nekaterih prodornih tujih bibliotekarjev in informatikov bi lahko ljubljanski visokošolski bibliotekarji vzpodbujali študij informacijskih veščin tudi na tistih fakultetah, kjer še niso bile vključene v redni študijski program in pri učenju sodelovali. Močneje bi se veljalo vključiti v pripravo intraneta za svoje okolje.
Študij bibliotekarstva je preveč orientiran na sedanje naloge bibliotekarjev in premalo na pričakovane naloge v naslednjem desetletju. Namen opisanih seminarskih nalog je bil vzpodbuditi študente bibliotekarstva v meritve kazalcev uspešnosti delovanja knjižnic, v razmišljanje o ustreznosti sedanje organiziranosti procesov v knjižnicah in v kreativno timsko snovanje sprememb.
Literatura
1.	Lumsdaine, E., M. Lumsdaine. Creative Problem Solving. Thinking Skills for Changing World, McGraw-Hill, 1995
2.	Rader, B.R. Faculty-librarian collaboration in building the curriculum for the millennium - the US experience, IFLA Conference 1998, Booklet 1, p. 34-42
3.	Poll, R. in P. te Boekhorst. Measuring Quality, International Guidelines for Performance Measurement in Academic Libraries, IFLA Publication 76, Miinchen: Saur, 1996
4.	Keys to Success: Performance Indicators for Public Libraries, Library Information Series No. 18, London, HMSO, 1990
5.	ISO 11620, Information and documentation - Library performance indicators, ISO 1.4.1998
6.	Lynch, B.P. "Measurement and evaluation of public libraries", http://www.ifla.org/IV/ifla64/027-137e.htm (15.10.1998)
7.	Cullen, R. Measure for Measure. A Post Modern Critique of Performance Measurement in Libraries and Information Services, Paper of the IATUL conference 1998. http://educate.lib.chalmers.se/IATUL/proceedcontents/pret-pap/cullen.html (15.10.1998)
8.	Boekhorst, P. "Report of the Meeting of the IFLA Discussion Group on Performance Measurement at Istanbul, 21 August 1995", Newsletter IFLA Section URL, 1996, 27(July)
9.	Popovič M. "Evalvacija knjižnično-informacijske dejavnosti", Organizacija in kadri 21(1988)3/4:313-322
10.	Slokar, R. "Uporabnikovo vrednotenje splošnih knjižnic", Knjižnica 40(1996)3/4:211-220
11.	Novljan, S. "Učinkovitost merjenja uspešnosti slovenskih splošnoizo-braževalnih knjižnic", Knjižnica 41(1997)1:7-18
12.	Slokar, R. "Zakaj merjenje uspešnosti ljudskih knjižnic", Neprofitni management 1(1998)2/3:37-39
13.	Dolgan Petrič, M. "Standardi in normativi v slovenskih visokošolskih knjižnicah med teorijo in prakso", Knjižnica 42(1998)2/3 :159-181
14.	Žaucer, M. "Ocenjevanje relevantnosti periodike", Raziskovalec 28(1998)2 : 64-66
15.	Pienaar, H. et al. Launching transformation at the academic information service. University of Pretoria, Paper at the IATUL conference 1998, http://educate. lib. chalmers.se/IATUL/proceedcontents/pretpap/pienaar.html (15.10.1998)
16.	Pack, T. et al. "The Cutting-Edge Libraries of the Ford Motor Company". Online 1998, Sept/Oct.: 14-30