ROZUMIENIE POJĘCIA »EWALUACJA« W PEDAGOGICE Anna Tyl Uniwersytet Łódzki, Polska Wprowadzenie Pojęcie ewaluacja znalazło szerokie zastosowanie w różnych dziedzinach życia społecznego, w tym także – na gruncie pedagogiki. Zależnie od kon- tekstu, w którym używa się tego terminu, pojawiły się różnice w jego zakre- sach znaczeniowych. Ponadto w literaturze przedmiotu, a zwłaszcza w pra- cach tłumaczonych na język polski (choć także w publikacjach rodzimych autorów) można zaobserwować zamienne stosowanie określenia ewaluacja i innych pojęć, takich jak: ocena, pomiar, diagnoza, ekspertyza, monitorowa- nie, inspekcja, audyt czy kontrola. Taka praktyka nie jest uzasadniona i budzi sprzeciw w środowisku osób, zajmujących się badaniami ewaluacyjnymi. Rozważania na temat ewaluacji w pedagogice będą w tekście prezen- towane w trzech ujęciach: definicyjnym (gdzie przytoczono określenia definicyjne o różnym stopniu ogólności), klasyfikacyjnym (gdzie podano kilka podziałów ewaluacji i ich zakres znaczeniowy) oraz aplikacyjnym (gdzie dokonano ezgemplifikacji ewaluacji pedagogicznej, prowadzonej na terenie Polski, o zasięgu krajowym, wojewódzkim i jednostkowym). Ewaluacja w ujęciu definicyjnym Przyjmuje się, że po raz pierwszy pojęcie ewaluacja zostało zdefiniowane na gruncie polskim przez Michała Arcta w 1928 r. Autor zamieścił to ha- sło w Słowniku wyrazów obcych i opisał je jako ocenianie, oszacowanie, określanie wartości. ŠOLSKO POLJE LETNIK XVIII (2007) ŠTEVILKA 7/8 str. 37-47 38 ŠOLSKO POLJE LETNIK XVIII ŠTEVILKA 7/8 Współcześnie, w polskiej literaturze przedmiotu najczęściej przywołu- je się rozumienie ewaluacji podane w latach osiemdziesiątych minionego stulecia przez jeden z międzynarodowych komitetów ewaluacyjnych – Joint Committee on Standards for Educational Evaluation. Komitet ten zapropo- nował następującą definicję ewaluacji – to systematyczne badanie wartości lub zalet jakiegoś obiektu. 1 Przytoczone określenie charakteryzuje się wyso- kim poziomem ogólności i często w tekstach źródłowych współwystępuje z innymi, bardziej szczegółowymi definicjami. Oto kilka przykładów: 2 Ewaluacja to: systematyczny proces obejmujący zbieranie informacji oraz zdawanie relacji (w postaci raportu) z tego, jak się rzeczy mają, z intencją dostarczenia danych ułatwiających podejmowanie decyzji. (H. Mizerek) Proces zbierania danych i ich interpretacja w celu podejmowania decyzji. (Ch. Galloway) Proces diagnostyczno – oceniający, zawierający w sobie elementy pomiaru, osądu i decyzji. (J. J. Guilbert) Systematyczny i jawny proces zbierania informacji na temat istoty, charakteru i wartości interesujących (praktyka) zjawisk. (H. Simons) Proces systematycznego gromadzenia informacji na temat działania, właściwości i rezultatów programów, personelu oraz produktów. (M. Q. Patton) Systematyczne badanie wartości lub cech konkretnego programu, działania lub obiektu z punktu widzenia przyjętych w tym celu kryteriów w celu jego usprawnienia, rozwoju lub lepszego zrozumienia. (L. Korporowicz) Celowe i zaplanowane pozyskiwanie informacji w trakcie (ewaluacja okresowa) lub po zakończeniu wdrażania (ewaluacja końcowa) konkretnych programów pracy szkoły na temat zmiany społecznej, jaka została wywołana w konsekwencji realizacji zapisanych w tych programach celów i zadań. Ewaluacja służy badaniu 39 ROZUMIENIE POJĘCIA »EWALUACJA« W PEDAGOGICE i oszacowaniu przyjętego rozwoju po to, by móc podjąć najlepsze z możliwych decyzje dotyczące przyszłych działań szkoły. (M. Kalinowska) W zaprezentowanych definicjach autorzy podkreślają, że ewaluacja jest procesem, który cechuje zbieranie danych i ich analiza oraz formuło- wanie wniosków i rekomendacji odnośnie decyzji, dotyczących przyszłych działań społecznych podmiotów ewaluacji. Różnicuje je natomiast (poza stopniem ogólności) rozłożenie akcentów, podkreślających wagę posz- czególnych aspektów badania ewaluacyjnego, a także specyfika obiektu, którego ewaluacja dotyczy. Określanie obiektu ewaluacji jest niemal równoznaczne ze wskazani- em rodzaju preferowanej informacji zwrotnej i może być zrealizowane w dwóch podstawowych wymiarach. Wyróżnia się obiekt ewaluacji nastawi- onej na rezultaty (gdzie ewaluacja sprowadza się do badania jakości wyni- ków podjętych działań) oraz zorientowanej na proces (gdzie dokonuje się wieloaspektowej analizy przedmiotu ewaluacji z uwzględnieniem opisu, interpretacji i kontekstu gromadzonych danych). W pedagogice 3 pierwsze z wymienionych podejść uważa się obecnie za niewystarczające. W odniesieniu do edukacji mówi się o ewaluacji pedagogicznej, która oznacza proces systematycznego zbierania informacji (danych) o rzeczywistości edukacyjnej, ich analizowanie, interpretowanie oraz for- mułowanie wniosków, które można wykorzystać w praktyce, podejmując określone decyzje na podstawie informacji zwrotnej. 4 Obszar znaczenio- wy tego pojęcia, w zależności od celu, jakiemu ewaluacja ma służyć, może być rozpatrywany w węższym lub szerszym zakresie. Jeżeli podstawowym celem ewaluacji jest określenie efektywności programu lub poziomu na- silenia jakiegoś zjawiska, a rezultatem – wywarcie wpływu na decyzję o usprawnieniu działania przedmiotu (podmiotu) ewaluacji, to mówimy o ewaluacji w wąskim zakresie. Natomiast jeżeli za podstawowy cel ewalu- acji przyjmuje się polepszenie rozumienia edukacyjnej rzeczywistości i wywołanie publicznej debaty na temat ewaluowanego obiektu, to może- my mówić o ewaluacji w szerszym (głębszym) rozumieniu. Sprecyzowanie celu warunkuje ponadto wybór rodzaju ewaluacji. 40 ŠOLSKO POLJE LETNIK XVIII ŠTEVILKA 7/8 Ewaluacja w ujęciu klasyfikacyjnim W literaturze przedmiotu można odnaleźć szereg klasyfikacji ewaluacji i różne definicje określające zakres znaczeniowy tych pojęć. W opraco- waniu uwzględniono jedynie kilka podziałów, najbardziej użytecznych w ewaluacji pedagogicznej: • ze względu na osobę ewaluatora: • ewaluacja zewnętrzna • ewaluacja wewnętrzna • ze względu na czas przeprowadzenia ewaluacji: • ewaluacja diagnostyczna • ewaluacja formatywna • ewaluacja konkluzywna • ewaluacja odroczona • ze względu na rozległość obszaru poddanego ewaluacji: • ewaluacja szerokozakresowa • ewaluacja fokusowa • ze względu na możliw ości jej zastoso w ania w prakt y ce bezpośredniej: • ewaluacja proaktywna • ewaluacja wyjaśniająca • ewaluacja interakcyjna • ewaluacja monitorująca • ewaluacja typu »impact« Określenie definicyjne pojęcia ewaluacja zewnętrzna zaczerpnięto z tekstu N. Stolińskiej – Pobralskiej, 5 której zdaniem ewaluację zewnętr- zną charakteryzuje to, że: ewaluatorzy nie mogą być pracownikami lub współpracownikami ewaluowanego programu, instytucji itp., opracowa- nie projektu następuje na zewnątrz, w gronie ewaluatorów; osoby ewa- luowane uczestniczą w nim w kontekście uzgodnień kryteriów ewaluacji. Wyżej cytowana Autorka podała następujące określenie pojęcia ewalua- cja wewnętrzna – ewaluatorzy współuczestniczą w projekcie, są powią- zani z instytucją, programem, obiektem ewaluacji. Ewaluacja diagnostyczna (ex-ante, wstępna) jest prowadzona przed rozpoczęciem lub na początku kursu i ma na celu zdiagnozowanie oczeki- wań uczestników lub – co podkreśla K. Ciekotowa 6 – określenie poziomu i zakresu wiedzy osób rozpoczynających dany cykl kształcenia. Ewalua- cja formatywna (mid-term, bieżąca, kształtująca) jest realizowana w cza- 41 ROZUMIENIE POJĘCIA »EWALUACJA« W PEDAGOGICE sie trwania ewaluowanego procesu, a jej wyniki można wykorzystać do wprowadzenia zmian w przebiegu procesu kształcenia. Ewaluacja kon- kluzywna (ex-post, sumatywna, sumująca, końcowa, podsumowująca) to ewaluacja prowadzana po zakończeniu procesu, której zadaniem jest określenie stopnia realizacji założonych celów. Natomiast ewaluacja od- roczona jest realizowana po pewnym czasie od zakończenia szkolenia. W ewaluacji szerokozakresowej możemy sobie wyobrazić – jak piszą au- torki opracowania CODN – że wyniki tej ewaluacji wskażą nam wąskie obs- zary, które później można badać dokładnie za pomocą ewaluacji fokusowej. 7 Model ewaluacji proaktywnej, zwany także modelem ewaluacji dla rozwoju, stosowany jest w sytuacjach, gdy niezbędna jest diagnoza potr- zeb ewaluowanych podmiotów, natomiast ewaluacja wyjaśniająca kon- centruje się na gromadzeniu i analizowaniu danych, dotyczących struk- tury i funkcjonowania określonego programu, projektu lub instytucji. Ewaluacja interakcyjna zajmuje się rozwojem projektu (zapoznawaniem odbiorców z ustawicznymi zmianami) zarówno na etapie jego przygoto- wywania, jak i realizacji. W modelu tym należy położyć nacisk na rozwój mechanizmów kontroli, a także skutecznych strategii rozwiązywania trudności, pojawiających się w trakcie prac nad programem interwencji. 8 Ewaluacja monitorująca gromadzi wiedzę na temat funkcjonowania da- nego programu między innymi w celu zwiększenia kontroli nad jego rea- lizacją, a ewaluacja typu »impact« zajmuje się analizą przebiegu programu w kontekście rezultatów działań, podjętych w trakcie jego realizacji. Bez względu na wybór określonego rodzaju ewaluacji warto pamiętać, że prawidłowo zaprojektowana i przeprowadzona – prowokuje ona do re- fleksji, przez co przyczynia się do ujawnienia istotnych kwestii i daje szansę na rozwiązanie problemów o zasięgu ogólnopolskim, wojewódzkim, czy też jednostkowym – dla instytucji, grup społecznych i poszczególnych osób. Ewaluacja w ujęciu aplikacyjnim Ewaluacja pedagogiczna zadomowiła się w polskiej rzeczywistości społe- cznej na początku lat 90-tych ubiegłego stulecia. Jej pojawienie się – zda- niem I. Kaweckiego, R. Kwiecińskiej i H. Stępniewskiej – Gębik 9 – należy wiązać z przyjazdem do Polski zespołu ekspertów współdziałających z polskim rządem w ramach umowy finansowanej przez Wspólnotę Eu- ropejską i tworzeniem w ramach tejże współpracy na terenie krajowych uczelni wyższych niewielkich grup profesjonalnych ewaluatorów. 42 ŠOLSKO POLJE LETNIK XVIII ŠTEVILKA 7/8 Przykładem powstałego przy ich udziale projektu ewaluacji o zasię- gu ogólnopolskim była ewaluacja grantów edukacyjnych ogłaszanych pr- zez Ministra Edukacji Narodowej 10 (przez trzy kolejne lata od 1998 roku), przeznaczone na organizację studiów podyplomowych (a w pierwszym roku także kursów doskonalących) dla nauczycieli, dyrektorów szkół oraz pracowników organów prowadzących szkoły i placówki. W I edycji tego konkursu zgłoszone zostały 432 oferty, z czego w wyniku postępowania kwalifikacyjnego dofinansowanie przyznano 219 projektom, w tym 55 projektom przygotowanym przez uczelnie państwo- we, 122 projektom z placówek doskonalenia nauczycieli i zakładów ksz- tałcenia nauczycieli i 42 projektom z jednostek pozarządowych. Rozkład przyznanych grantów na terenie poszczególnych województw nie był równomierny, co obrazuje poniższy rysunek. Rys. 1: Liczba projektów przyjętych do realizacji w ramach I edycji grantów MEN 43 ROZUMIENIE POJĘCIA »EWALUACJA« W PEDAGOGICE Najwięcej studiów podyplomowych i kursów dla nauczycieli zostało zrealizowanych na terenie Polski centralnej, w województwach: mazowi- eckim i łódzkim. Ewaluacja w zakresie realizacji projektów miała przede wszystkim służyć określeniu efektywności zagospodarowania przyznanych z budże- tu państwa środków finansowych, jednak ze względów organizacyjnych objęła swoim zasięgiem tylko część szkoleń, proporcjonalnie do liczby uczestników biorących w nich udział. Rys. 2: Liczba uczestników studiów podyplomowych i kursów dosko nalących, dofinansowanych w ramach I edycji grantów MEN Z danych Departamentu Doskonalenia Nauczycieli MEN 11 wynika ta- kże, że na studiach podyplomowych i kursach realizowanych w ramach I edycji grantów najwięcej osób przeszkolono w województwie mazowiec- kim, łódzkim, lubelskim i śląskim. 44 ŠOLSKO POLJE LETNIK XVIII ŠTEVILKA 7/8 W projekcie przyjęto, że ewaluacji zostanie poddanych łącznie 50 stu- diów podyplomowych i kursów doskonalących, a w badaniach metodą case study zastosowany zostanie model triangulacyjny. Ponadto określo- no: obszar ewaluacji, techniki zbierania materiału empirycznego (ob- serwacja, badanie kwestionariuszowe, wywiad i analiza dokumentów), a także zestaw pytań kluczowych i kryteriów ewaluacji, wśród których znalazły się między innymi: zgodność szkolenia z założonymi celami i ak- tualność prezentowanej na szkoleniu problematyki w kontekście zmian zachodzących w systemie oświaty. Ponadto ustalono, że badaniami zo- staną objęte trzy grupy osób: uczestnicy zajęć, prowadzący zajęcia oraz organizatorzy studiów podyplomowych lub kursów, a liczebność badanej próby uzależniono od liczebności populacji słuchaczy. Ewaluację tych form kształcenia można określić jako ewalucję mid- term, fokusową i monitorującą. Ponadto miała ona charakter ewaluacji zewnętrznej, bowiem przeprowadził ją zespół specjalnie przeszkolonych i działających na zlecenie Ministerstwa Edukacji Narodowej ewaluatorów, których raporty stanowiły podstawę do opracowania ogólnopolskiego raportu zbiorczego. Egzemplifikacją ewaluacji o zasięgu wojewódzkim mogą być ewalua- cje kursów dla nauczycieli organizowane przez placówki doskonalenia za- wodowego, a także stowarzyszenia i fundacje, 12 które otrzymały dofinan- sowanie w ramach grantów wojewódzkich. Procedura kwalifikacyjna dla tych projektów była określona centralnie przez Departament Doskonale- nia Nauczycieli Ministerstwa Edukacji Narodowej. Każdy Kurator Oświaty (od 1999 roku przez trzy kolejne lata) ogłaszał konkurs na konkretne pro- jekty edukacyjne, a także zlecał przygotowanie projektu ewaluacji tych sz- koleń na terenie swojego województwa. Mimo, że projekty ewaluacji były opracowywane, a następnie wdrażane przez różne (w każdym wojewód- ztwie – inne) grupy ewaluatorów, to w większości województw zastoso- wano model badań ewaluacyjnych, wzorowany na scharakteryzowanych powyżej projektach ewaluacji o zasięgu ogólnopolskim. Dla przykładu: zespół ewaluatorów wskazanych przez Łódzkiego Ku- ratora Oświaty przygotował projekt ewaluacji z zastosowaniem metody case study i skonstruował następujące narzędzia do badań ewaluacyjnych: dyspozycje do wywiadu z prowadzącymi zajęcia, organizatorem i ucze- stnikami szkolenia, a także dyspozycje do obserwacji zajęć i do analizy dokumentów. W III edycji grantów Łódzki Kurator Oświaty przyznał dofi- nansowanie dla 82 projektów, a ewaluacji została poddana ponad połowa z nich, a dokładniej – 42 projekty. Kryterium wyboru konkretnych kursów 45 ROZUMIENIE POJĘCIA »EWALUACJA« W PEDAGOGICE do ewaluacji było zachowanie około 50% reprezentacji spośród dwóch zmiennych: 12 obszarów tematycznych i 10 instytucji, które otrzymały dofinansowanie, czyli że na przykład w szóstym obszarze priorytetowym – Przygotowanie do zarządzania placówką oświatową w nowej struk- turze systemu edukacji. Wewnętrzne wspieranie jakości pracy w szkołach do realizacji przyjęto 4 projekty, zatem – ewaluacji poddano 2 kursy z tej grupy, przy jednoczesnym zachowaniu 50% proporcji dla drugiej zmien- nej – placówek prowadzących te szkolenia (na przykład: Wojewódzkiemu Ośrodkowi Doskonalenia Nauczycieli w Łodzi przyznano 20 grantów, z czego ewaluacji poddano 10 kursów i – jak wynika z zapisu w macierzy – po dwie ewaluacje zostały przeprowadzone na kursach z II, III i VIII ob- szaru tematycznego, jedna – z obszaru IV i trzy – z obszaru IX). Raport zbiorczy z wynikami ewaluacji, przeprowadzonych na terenie każ- dego województwa był przekazywany do Ministerstwa Edukacji Narodowej. Ponadto ewaluacje pedagogiczne są prowadzone na terenie szkół wyższych, zakładów kształcenia i ośrodków doskonalenia nauczycieli oraz w innych placówkach oświatowych. Przykładem ewaluacji o takim zasięgu może być projekt przygotowany do wdrożenia w Kolegium Nau- czycielskim w Zgierzu. 13 Ewaluacji typu »impact« zostanie poddany proces kształcenia w tej placówce, a badania przeprowadzone będą w kontekście awansu zawodowego nauczycieli. W projekcie wskazano dwa podmioty ewaluacji – nauczycieli i słuchaczy Kolegium, przy czym nauczyciele będą udzielali wywiadu i obserwowani w czasie prowadzenia zajęć dydaktyc- znych, natomiast zadaniem słuchaczy będzie wypełnienie kwestionarius- za ankiety. Wnioski płynące z analizy zgromadzonego materiału empiryc- znego zostaną uzupełnione wynikami analizy dokumentów zastanych, o charakterze urzędowym i oficjalnym (między innymi: planów rozwoju za- wodowego nauczycieli, protokołów pohospitacyjnych, programów nauc- zania, wykazu publikacji badanych nauczycieli) a także dokumentów oko- licznościowych (takich jak: dyplomy i wyróżnienia nauczycieli i słuchaczy Kolegium, zaświadczenia o ukończonych formach doskonalenia zawodo- wego, dokumentacja z przeprowadzonej ewaluacji wewnętrznej). Dobór nauczycieli do badań będzie określony za pomocą modelu próby celowej proporcjonalnej w oparciu o klasyfikację badanej populacji ze względu na stopień awansu zawodowego, natomiast dobór słuchaczy – za pomocą modelu próby warstwowej z prawdopodobieństwem proporcjonalnym do wielkości jednostek z uwzględnieniem rozkładu trzech cech – płci, specjalności edukacyjnej oraz roku studiów. W projekcie wskazano także siedem kryteriów ewaluacji, takich jak: adekwatność posiadanych przez 46 ŠOLSKO POLJE LETNIK XVIII ŠTEVILKA 7/8 nauczycieli Kolegium kwalifikacji zawodowych do prowadzonych przez nich zajęć dydaktycznych; zgodność celów, treści i sposobów ich realiza- cji z programami nauczania oraz z potrzebami i oczekiwaniami słuchaczy; przydatność zajęć dydaktycznych dla praktyki pedagogicznej słuchaczy czy też użyteczność dokumentacji gromadzonej przez kadrę Kolegium w kontekście awansu zawodowego nauczycieli. Raport ewaluacyjny będ- zie przygotowany po zakończeniu każdego roku szkolnego przez Zespół Ewaluacyjny Kolegium Nauczycielskiego w Zgierzu i przedstawiony do wglądu nauczycielom i słuchaczom oraz dyrektorowi placówki. Podane przykłady ewaluacji o zasięgu krajowym i wojewódzkim, do- tyczyły przedsięwzięć już zrealizowanych, natomiast propozycja przebie- gu procesu ewaluacji o zasięgu jednostkowym – dla Kolegium Nauczyci- elskiego w Zgierzu – jest jeszcze w fazie projektu i nie została wdrożona w praktyce edukacyjnej. Obecnie prowadzoną na terenie Polski ewaluacją szerokozakresową jest ewaluacja mid-term programów współfinansowanych przez Unię Eu- ropejską, której celem jest dokonanie oceny skuteczności i efektywności wykorzystania przyznanych środków finansowych z funduszy struktural- nych. Zakończenie W potocznym rozumieniu ewaluacja ogranicza się do realizacji badania konkretnego projektu lub programu oraz do sporządzenia raportu, pre- zentującego wyniki otrzymane na podstawie analizy zebranych danych. Warto jednak pamiętać, że ewaluacja jest złożonym procesem, do planowa- nia którego należy podejść w sposób systemowy, bowiem podejmowanie decyzji, dotyczących przebiegu ewaluacji rodzi określone konsekwencje społeczne. Systemowe badania rzeczywistości społecznej i funkcjonowa- nia jednostek wydają się mieć istotne znaczenie w naukach społecznych, a wśród nich – także w pedagogice. D. Nevo 14 przedstawił listę dziesięciu pytań, które – jego zdaniem – powinny stanowić punkt wyjścia każdej próby konceptualizacji ewaluacji. Zgodnie z koncepcją cytowanego wyżej Autora, pytania te wskazują reje- str kluczowych zagadnień, które poruszane są w najbardziej znaczących podejściach do ewaluacji w edukacji. Analiza różnych podejść do ewalu- acji pedagogicznej w kontekście tych pytań może mieć ważne implikacje dla studiów i badań ewaluacyjnych. 47 ROZUMIENIE POJĘCIA »EWALUACJA« W PEDAGOGICE Przypisy [1] Joint Committee on Standards for Educational Evaluation: Standards for Evaluations of Educational Programs, Projects and Materials, New York 1981. [2] Wyboru definicji dokonano spośród określeń cytowanych w pracy zbiorowej pod redakcją E. Tołwińskiej – Królikowskiej, Autoewaluacja w szkole, Wydawnictwa CODN, Warszawa 2002. [3] Informację podaję za: Encyklopedia pedagogiczna XXI wieku, tom I, Wydawnictwo Akademickie »Żak«, Warszawa 2003, s. 1093. [4] Encyklopedia pedagogiczna XXI wieku, tom I, Wydawnictwo Akademickie »Żak«, Warszawa 2003, s. 1091. [5] N. Stolińska – Pobralska, Ewaluacja jako aspekt aktywizacji procesu kształcenia [w:] Pedagogika. Współczesna myśl pedagogiczna, Zeszyty Naukowe Wyższej Szkoły Humanistyczno – Ekonomicznej w Łodzi 3/2002, s. 54. [6] K. Ciekotowa, Ewaluacja (ujęcie pedagogiczne) [w:] M. Wójcicka (red.), Jakość kształcenia w szkolnictwie wyższym. Słownik tematyczny, Uniwersytet Warszawski, Centrum Badań Polityki Naukowej i Szkolnictwa Wyższego, Warszawa 2001. [7] E. Tołwińska – Królikowska (red.), Autoewaluacja w szkole, Wydawnictwa CODN, Warszawa 2002, s. 18. [8] K. Ornacka, Ewaluacja – między naukami społecznymi a pracą socjalną, Zeszyty pracy socjalnej (zeszyt ósmy), Uniwersytet Jagielloński, Kraków 2003, s. 143. [9] I. Kawecki, R. Kwiecińska, H. Stępniewska – Gębik, Ewaluacja w szkole wyższej, »Edukacja« 2002 nr 3. [10] Obecnie: Minister Edukacji i Nauki. [11] W. Górczak – Kutarba, Granty edukacyjne – I edycja, materiały DDN MEN, Warszawa 1998. [12] W konkursie nie uczestniczyły uczelnie wyższe, bowiem w tym samym czasie mogły składać swoje oferty o granty Ministra Edukacji Narodowej, przyznawane na dofinansowanie studiów podyplomowych. [13] Projekt został szerzej opisany w publikacji A. Tyl, Projekt ewaluacji procesu kształcenia w Kolegium Nauczycielskim w Zgierzu w kontekście awansu zawodowego nauczycieli [w:] J. Piekarski, A. Głowala, J. Mielczarek (red.), Kształcenie pedagogów – strategie, koncepcje, idee, Zeszyty Naukowe Państwowej Wyższej Szkoły Zawodowej w Płocku, Pedagogika, tom 4, część I, Płock 2005, ss. 373–386. [14] D. Nevo, The Conceptualization of Educational Evaluation: An Analytical Review of the Literature [w:] E. R. House (red.), New Directions in Educational Evaluation, The Falmer Press, London – New Philadelphia 1986.