Stigmergični pristop za reševanje dinamičnih optimizacijskih problemov
Peter Korošec1'2, Jurij Silc1'3
1	Institut "Jožef Stefan ", Odsek za računalniške sisteme, Jamova cesta 39, SI-1000 Ljubljana, Slovenija
2	Univerza na Primorskem, Fakulteta za matematiko, naravoslovje in informacijske tehnologije, Glagoljažka 8, SI-6000 Koper, Slovenija
3	Mednarodna podiplomska sola Jožefa Stefana, Jamova cesta 39, SI-1000 Ljubljana, Slovenija E-požta: peter.korosec@ijs.si
Povzetek. Številni realni optimizacijski problemi so dinamični in zahtevajo algoritme, ki so sposobni zvezno slediti časovnim spremembam optimuma. V sestavku prikazujemo, kako uspešeno je to mogoče doseči z diferencialnim algoritmom s stigmergijo mravelj (D ASA), ki je v osnovi primeren za optimizacijo v zveznem prostoru. Učinkovitost algoritma DASA je ocenjena s pomočjo preskusnih problemov, ki so bili predlagani za posebno sekcijo o dinamičnem optimiziranju na kongresu o evolucijskem računanju CEC 2009. Algoritem DASA seje v primerjavi z drugimi algoritmi, kot so optimizacija z roji, samoprilagodljiva diferencialna evolucija, evolucijsko programiranje in imunski algoritem, izkazal za enega izmed najuspešnejših. Pri preizkusu mnogoterih primerjav med algoritmi je bila uporabljena statistična analiza na rankih in uporabljene popravljene p-vrednosti.
Ključne besede: stigmergija, dinamično optimiziranje, zvezni prostor, preskusne funkcije
A Stigmergic Approach to Solving Dynamic Optimization Problems
Extended abstract. Many real-world problems are dynamic. Their solving requires an optimization algorithm. Apart from being able to locate the optimum, as it does in the static sense, it should also detect changes in the environment and track a new optimum.
The paper presents a differential ant-based stigmergy algorithm (DASA) developed for solving numerical optimization problems. The DASA was applied to dynamic optimization problems with continuous variables proposed for a special session on evolutionary computation in dynamic and uncertain environments at the 2009 IEEE Congress on Evolutionary Computation held in Trondheim, Norway.
Results of using DASA show that it can find reasonable solutions for any problem of the kind. One of its advantages is that there is no need of changing the original algorithm. So, it can be used for both cases of numerical optimization, i.e. static and dynamic. Also, the DASA is not sensible to different types of changes and can be used, when the knowledge about the certain problem is limited, i.e. when only the maximal dimension and input problem parameters are known.
The performance of the DASA is compared to that of the following four algorithms: a clustering particle swarm algorithm, self-adaptive differential evolution, evolutionary programming with an ensemble of memories, and dynamic artificial immune algorithm. An advanced statistical procedure for performing all pairwise comparisons between the observed algorithms is used. It can be seen that the DASA does not perform much worse than the self-adaptive differential evolution and much better than the other three algorithms.
Key words: stigmergy, dynamic optimization, continuous
space, benchmark functions
1 Uvod
Optimizacijski problemi, pri katerih se optimalna rešitev med samo optimizacijo spreminja, igrajo pomembno vlogo na številnih področjih človekove dejavnosti. Takšni dinamični optimizacijski problemi so definirani kot:
F = f (x,<j>,t),
kjer je F optimizacijski problem, f je kriterijska funkcija, x je dopustna rešitev iz mnozice rešitev X, t je čas in ^ je krmilni parameter, ki določa porazdelitev rešitev in pokrajino uspešnosti.
V	zadnjih letih se optimizacija s kolonijami mravelj (ACO iz angl. Ant Colony Optimization) ne uporablja le za resševanje kombinatoricšnih optimizacijskih problemov, temveč prodira tudi na zahtevna aktualna področja optimizacij. Eno takšnih je tudi dinamična optimizacija, kjer je po literaturi mogoče v zadnjem času zaslediti tudi uporabo ACO [2, 3, 7, 8, 16].
V	tem sestavku je prikazano, kako uspešno je mogoče diferencialni pristop s stigmergijo mravelj, kije primeren za optimizacijo v zveznem prostoru [10, 11], uporabiti za resševanje dinamicšnih optimizacijskih problemov.
2	Stigmergicno optimiziranje
Na kratko si oglejmo diferencialni pristop s stigmergijo mravelj, ki ga imenujemo algoritem DASA (iz angl. Differential Ant-Stigmergy Algorithm) in smo ga podrobneje opisali v [10].
Postopek je naslednji. Najprej se izbere, lahko tudi naključno, neka resitev, ki se tudi ovrednoti. Nato se zgradi preiskovalni graf, v katerega vozlišča se odloZi začetna količina feromona. Jedro algoritma je zanka, kjer ob vsaki ponovitvi m mravelj sočasno začne pot po preiskovalnem grafu. Mravlje izberejo naslednje vozlisče na svoji poti po verjetnostnem pravilu glede na količšino feromona. To ponavlja, dokler ne doseze končnega vozlišča. Tako ustvarjena pot (oz. rešitev) se ovrednoti s kri-terijsko funkčijo. Najboljša izmed m rešitev se primerja s trenutno najboljšo. (Če je ta rešitev boljša, potem postane to nova trenutno najboljsa rešitev. Kadar se to zgodi, se količina feromona prerazporedi glede na pot, s katero je bila ta, nova trenutno najboljša rešitev, dosezena. Ob tem pa feromon po vseh poteh tudi izhlapeva. Postopek se ponavlja, dokler ni izpolnjen pogoj za končanje (npr. vnaprej omejeno stevilo ovrednotenj).
3	Ocena učinkovitosti
3.1	Eksperimentalno okolje
Preskusi so potekali na računalniškem sistemu s proče-sorjem AMD Opteron™ 2.6-GHz, 2 GB RAM pomnilnika in operačijskim sistemom Mičrosoft® Windows(R) XP. Algoritem DASA je izveden v programskem jeziku Borland® Delphi™.
3.2	Preskusni problemi
Algoritem DASA je bil preskusšen na sšestih preskusnih problemih, ki so bili predlagani za posebno sekčijo o dinamičšnem optimiziranju na kongresu o evolučijskem računanju CEC 2009, in sičer:
•	F\: rotačijska koničasta funkčija (multimodalna, razsirljiva, rotirana, stevilo lokalnih optimumov je umetno vodeno),
•	F2: kompozičija sferne funkčije (multimodalna, razsirljiva, rotirana, deset lokalnih optimumov),
•	F3: kompozičija Rastriginove funkčije (multimodalna, razširljiva, rotirana, veliko lokalnih optimumov) ,
•	F4: kompozičija Griewankove funkčije (multimodalna, razširljiva, rotirana, veliko lokalnih optimumov) ,
•	F5: kompozičija Ačkleyeve funkčije (multimodalna, razsirljiva, rotirana, veliko lokalnih optimumov),
Slika 1. Diferenčialni pristop s stigmergijo mravelj Figure 1. Differential ant-stigmergy approačh
•	F6: hibridna kompozičija funkčij (multimodalna, razsirljiva, rotirana, veliko lokalnih optimumov, lastnosti različnih funkčij so pomesane, sferne funkčije vnašajo dvoje ploskih področij).
Vrste dinamičnih sprememb (ds) so naslednje:
•	1: spremembe majhnih korakov,
•	2: spremembe velikih korakov,
•	3: naključne spremembe,
•	4: kaotične spremembe,
•	5: ponavljajoče se spremembe,
•	6: ponavljajoče se spremembe s sumom,
•	7: naključne spremembe s spremembo dimenzij.
Podroben opis preskusnih problemov in vrst dinamičšnih sprememb je na voljo v [15].
Stigmergišni pristop za reševanje dinamičnih optimizacijskih problemov 21
problem	napake	ds i, n = 10	dS2, n = 10	dS3, n = 10	dS4, n = 10	dSB, n = 10	dS6, n = 10	dS7, 5 < n < 15
Fx m =10	B -¿max EaI Std	4,	17E-13 5,	51E+00 1, 80E —01 1, 25E+00	3, 80 E— 13 3,	85 E+01 4,	18E+00 9, 07E+00	3, 80 E-13 3, 97 E+01 6, 37 E+00 1, 07E+01	6, 57E —13 9, 17E+00 4, 82E —01 1, 95E+00	5, 56 E—13 2, 09 E+01 2, 54 E+00 4, 80 E+00	7,	90 E — 13 4, 71 E+01 2, 34 E+00 8,	66 E+00	3,	55 E-14 2, 91 E+01 4,	84 E+00 8, 96 E+00
Fi m = 50	B ¿max EaI Std	5, 97E-13 7, 67E+00 4, 42E —01 1, 39E+00	5, 03 E— 13 2, 91 E+01 4, 86 E+00 7, 00 E+00	3, 57E-13 3, 10 E+01 8,	42 E+00 9,	56 E+00	7, 73E-13 5, 58 E+00 5, 09E —01 1, 09E+00	8, 02 E—13 1, 16 E+01 1,	18 E+00 2,	18 E+00	6, 73 E-13 3, 51 E+01 2, 07 E+00 5, 97 E+00	7, 39 E-14 3, 22 E+01 7, 84 E+00 9, 05 E+00
f2	B ¿max Ear Std	1, 97E— 11 3, 39E+01 3, 30E+00 8, 78E+00	2, 34E— 11 4, 03 E+02 2, 56 E+01 8, 32 E+01	2,	72 E-11 3,	56 E+02 1, 89 E+01 6, 78 E+01	1, 41 E —11 1, 65E+01 1, 45E+00 3, 83 E+00	3,	59 E—11 4,	33 E+02 4, 96 E+01 1, 12 E+02	1,	65 E— 11 2,	49 E+01 2, 11 E+00 5, 29 E+00	1, 30 E—12 3, 67 E+01 3, 87 E+00 8, 12 E+00
f3	B ¿max Ear Std	3,	39E— 11 4,	35E+02 1, 57E+01 6, 71E+01	4, 34 E+01 9, 88 E+02 8, 24 E+02 2, 04 E+02	1,38 E+00 9, 37 E+02 6, 88 E+02 2, 98 E+02	4, 51 E —11 1, 17E+03 4, 35 E+02 4, 41 E+02	3, 08 E+00 9, 23 E+02 6, 97 E+02 3, 15 E+02	4, 21 E— 11 1, 47 E+03 6, 26 E+02 4, 60 E+02	1, 06 E —01 9, 09 E+02 4, 33 E+02 3, 80 E+02
Fa	B ¿max Ear Std	2, 01 E— 11 5, 76E+01 5, 60E+00 2, 65E+01	2, 95E— 11 5,	05 E+02 6,	56 E+01 1, 60E+02	2, 87E— 11 5, 40 E+02 5, 36 E+01 1,40 E+02	1, 85E —11 1, 88E+01 1, 85E+00 4, 22 E+00	5, 89 E—11 5, 28 E+02 1,08 E+02 1,78 E+02	2,	09 E— 11 3,	97 E+01 2, 98 E+00 7, 59 E+00	7, 10 E—12 4, 51 E+02 2, 74 E+01 9, 00 E+01
f5	B ¿max Ear Std	3, 22E— 11 1, 71E+01 9, 55E —01 3, 43 E+00	3,	74 E — 11 2, 22 E+01 9, 90E —01 4,	05 E+00	3, 86 E— 11 1,60 E+01 9, 49 E —01 3, 31 E+00	2,	69E —11 8, 10E+00 3,	92E —01 1, 61 E+00	5,	99 E—11 2, 90 E+01 2, 30 E+00 6,	36 E+00	2, 85 E— 11 8, 75 E+00 4, 67E-01 1,73 E+00	1, 93 E—12 1, 87E+01 1, 11 E+00 3, 76 E+00
f6	E min ¿'srn Std	2, 36E— 11 4, 83 E+01 8, 87E+00 1, 33E+01	3, 58E— 11 5, 54 E+02 3, 70 E+01 1, 22 E+02	3, 69 E— 11 5, 29 E+02 2, 67 E+01 9, 84 E+01	2, 55E —11 8,	16E+01 9,	74 E+00 2, 20 E+01	6, 37E—11 4, 99 E+02 3, 79 E+01 1, 18 E+02	2, 56 E— 11 2, 49 E+02 1, 33 E+01 5, 74 E+01	6, 48 E-12 1, 37 E+02 1, 17E+01 3, 67 E+01
Tabela 1. Dosežene napake pri različnih preskusnih problemih in različnih dinamičnih spremembah Table 1. Error values achieved for different test problems and different dynamic changes
3.3 Nastavitve parametrov
Algoritem DASA ima sest parametrov: število mravelj m, faktor izhlapevanja feromonov p, natančnost parametrov e, ki so predmet optimizacije, bazo diskretizacije b, skalirni faktor povečevanja s+ in skalirni faktor zmanjsevanja s_. Glede na njihove običajne nastavitve [13] smo tokrat zaradi boljse odzivnosti algoritma zmanjsali število mravelj na m = 3 in povečali faktor izhlapevanja p na 0.1, s čimer smo pospesili konvergenco algoritma. Preostale nastavitve so ostale običajne:
10
-15
b
10, s+
0.01 in s_
0.02. Vse
vrednosti so bile določene na podlagi omejenega števila predhodnih preskusov in brez podrobnejšega finega nastavljanja.
3.4 Preskusni postopek
Za vse preskusne probleme smo uporabili naslednji preskusni postopek. Z vidika samega algoritma je bil ta pognan nad v naprej predpisanim sštevilom ovrednotenj kriterijske funkčije. Med izvajanjem algoritmu niso bile posredovane nikakršne dodatne informačije o dinamičnih spremembah pokrajine uspesšnosti in dimenzij problema. Za dinamičšne spremembe je skrbel posebem vmesnik. Npr. pri preskusnih dinamičnih spremembah ds7 seje algoritmu nastavilo 6 • 106 ovrednotenj kriterijske funkčije in dimenzijo problema n = 15, čeprav seje ta med op-
timizačijo spreminjala med 5 in 15. Torej je algoritem obravnaval problem kot statični 15-dimenzijski problem, vmesnik pa je poskrbel, da so se obravnavale le veljavne dimenzije problema.
3.5 Rezultati
V tabeli 1 so prikazane vrednosti napak kriterijske funkčije pri različnih preskusnih problemih in različnih dinamičšnih spremebah. Za vsako vrsto dinamičšne spremembe dsi do dS7 (št_spr = 7) in za vsak preskusni problem F\ do (št_pr = 7, saj imamo pri mak-simizačijskem problemu Fi enkrat stevilo vrhov 10 in drugič 50) so podane vrednosti povprečne najmanjše napake Emin, povprečne srednje napake Esr, povprečne največje napake Emayi, kakor tudi vrednosti standardnih odklonov (Std) po 20 ponovitvah preskusa. Povprečne vrednosti napak so določene kot:
Bg^t-sp rE^jt)
E min = > mm -Ž--,
f-f 3=1 st_pr
št_pr št.spr 7^zadnji/,\
E3r= y y „ ^ „(t)
' st_pr * st_spr
i=l j=l
in
št_pr	pzadnji/,\
-fT	\ "" št.spr j (t)
E max = > max -•
f-f j=i st-pr
i
7	7r	' rt	■r	77	T	77" : j		Tf	r/vy	77	Ti	ff	Y	77	v		77	Ti	mii iiiiiiii	miTm Iiiiiiii
																				
																			■	
																			■	
																				
																			t	j
																	i - -		J	: ; _ 1
	r	i		f	r	i	liflllifiifl		r	r	r	f	r		f	rf	y	n	r	r	f	v	ifl	Tf	r	B	r	r/				r	r	r		ff
						! f		f	■			1						!						•		1		11								
						r t "	;	1																i												
						*																	1	j												
						•																	1	" T				j								
						X												■					1	j				1								
						t	i																j	T» 1												
			•	k i																																
i																																				
e)
Slika 2. Konvergencni graf za: a) Fi, m = 10; b) Fi, m = 50; c) F2; d) F3; e) F4; f) F5; g) F6 Figure 2. Convergence graph for a) F1, m = 10; b) F1, m = 50; c) F2; d) F3; e) F4; f) F5; g) F6
kjer je Ezadnji(t) = |f (xnajboijSi (t)) - f (x*(t))| na- 3.6 Primerjava
paka, ki jo algoritem doseZe po vnaprej določenem številu ovrednotenj kriterijske funkcije po vsaki dinamični spremembi (Max_ŠO/spr). Pri tem je xnajboijši(i) najboljša rešitev, ki jo je algoritem nasel med dvema di-namicnima spremembama in x*(t), pripadajoca optimalna vrednost.
Slika 2 prikazuje konvergencšni graf za vsak preskusni problem. Graf prikazuje potek povprecne relativne ucinkovitosti r(t) v odvisnosti od stevila ovrednotenj kriterijske funkcije. Za vsak preskusni problem je povpreceno 20 ponovitev in sest preskusnih okolij di-namicnih sprememb (dsi do ds6).
Za maksimizacijski problem F1 je
"(t) =
f(
najbolj Si
i(t))
f (x* (t)) '
za minimizacijske probleme F2 do F6 pa je
f (x* (t))
"(t) =
f (xnajbolj Si (t))
Uspešnost algoritma DASA [12] bomo primerjali z vsemi najnovejsimi algoritmi, ki so bili predstavljeni v posebni sekciji o dinamicšnem optimiziranju na kongresu o evolucijskem racunanju CEC 2009 in so bili prirejeni prav v ta namen. Ti algoritmi so:
•	CPSO: optimizacija z grucami rojev [14],
•	jDE: samoprilagodljiva diferencialna evolucija [1],
•	EP: evolucijsko programiranje z zunanjimi pomnilniki [17] in
•	dopt-aiNet: imunski algoritem [4].
Tabela 2 prikazuje ucšinkovitost algoritmov DASA, CPSO, jDE, EP in dopt-aiNet. Ocena za vsak problem in vsako vrsto dinamicne spremembe se izracuna kot:
r
j
št_pr št.spr
ocenap.dS = utežp_ds * V" V" —■
^^ ^^ st.spr * st_pr
i=i j=i
Stigmergišni pristop za reševanje dinamičnih optimizacjskih problemov 23
Celotna ucšinkovitost algoritma je ovrednotena kot:
zadnj i
i + £ S
1-rf-
učinkovitost
s = l S
Tu je rZjadnjl vrednost relativne učinkovitosti po doseženih Max_ŠO/spr ovrednotenjih za vsako spremembo, rj je relativna vrednost učinkovitosti po stem vzorčenju in S = Max-s°/sPr; kjer je Sf frekvenca vzorčenja. V našem primeru imamo: sf = 100, Max_ŠO/spr = 10000 »ninii = 10. Vrednost utežp_ds je določena v [15].
				ocenap	ds	
problem	ds, n	DASA	CPSO	jDË	ËP	dopt-aiNet
	1, 10	1,471	1,413	1,477	1,280	1,354
	2, 10	1,357	1,338	1,369	1,174	1,135
Fi	3, 10	1,280	1,304	1,383	1,153	1,145
m = 10	4, 10	1,416	1,466	1,472	1,385	1,163
	5, 10	1,396	1,334	1,394	1,231	1,060
	6, 10	1,355	1,323	1,413	1,251	1,011
	7, 5-15	0,885	0,857	0,911	0,730	0,770
	1, 10	1,455	1,412	1,469	1,279	1,341
	2, 10	1,339	1,332	1,359	1,124	1,197
Fi	3, 10	1,241	1,257	1,353	1,059	1,187
m = 50	4, 10	1,423	1,463	1,469	1,395	1,210
	5, 10	1,438	1,377	1,436	1,350	1,113
	6, 10	1,346	1,310	1,387	1,352	1,060
	7, 5-15	0,832	0,830	0,899	0,752	0,786
	1, 10	1,865	1,747	2,110	1,509	1,757
	2, 10	1,446	1,380	1,353	1,487	1,211
	3, 10	1,583	1,392	1,308	1,590	1,149
f2	4, 10	1,890	2,160	2,100	1,786	1,581
	5, 10	1,420	1,366	1,240	1,569	0,734
	6, 10	1,826	1,546	1,778	1,678	1,210
	7, 5-15	1,215	1,048	1,019	1,016	0,913
	1, 10	1,413	0,631	1,571	0,574	0,036
	2, 10	0,072	0,041	0,298	0,588	0,020
	3, 10	0,174	0,091	0,281	0,656	0,020
f3	4, 10	0,742	0,665	1,276	0,793	0,014
	5, 10	0,223	0,065	0,441	0,646	0,045
	6, 10	0,455	0,084	0,735	0,628	0,012
	7, 5-15	0,282	0,118	0,549	0,483	0,014
	1, 10	1,759	1,651	2,066	1,488	1,588
	2, 10	1,233	1,128	1,315	1,431	0,695
	3, 10	1,327	1,175	1,355	1,491	0,929
fi	4, 10	1,788	2,120	1,993	1,728	1,370
	5, 10	1,091	1,111	1,238	1,574	0,368
	6, 10	1,699	1,365	1,795	1,640	1,091
	7, 5-15	1,005	0,915	1,018	0,957	0,679
	1, 10	2,021	1,596	2,177	1,321	0,930
	2, 10	2,012	1,468	2,087	1,257	0,867
	3, 10	2,030	1,446	2,093	1,345	0,859
f5	4, 10	2,049	2,099	2,220	1,573	0,681
	5, 10	2,019	1,461	2,131	1,260	0,144
	6, 10	2,024	1,293	2,074	1,364	0,319
	7, 5-15	1,346	0,942	1,379	0,833	0,374
	1, 10	1,478	1,335	1,705	1,127	1,109
	2, 10	1,154	1,056	1,395	1,046	0,330
	3, 10	1,335	1,036	1,419	1,125	0,284
fe	4, 10	1,337	1,514	1,530	1,439	0,869
	5, 10	1,367	0,995	1,552	0,905	0,082
	6, 10	1,318	0,862	1,395	0,980	0,255
	7, 5-15	0,970	0,942	0,943	0,692	0,220
učinkovitost [%]		65,21	57,57	69,73	58,09	38,29
rang		2,31	3,10	1,47	3,31	4,82
Tabela 2. Ucšinkovitosti algoritmov pri razlicšnih preskusnih problemih in razlicšnih dinamicšnih spremembah Table 2. Performances of algorithms achieved for different test problems and different dynamic changes
št.primerov
E
p_ds= 1
ocenap.ds.
Skupno število testnih primerov št_primerov = 49.
V tabeli 2 so vsi algoritmi tudi razvrščeni glede na doseženo oceno učinkovitosti ocenap_dS.
3.7 Statistična analiza na rangih
Ničelna domneva trdi, da so vsi rangi enakomerno prisotni v vseh k primerjanih algoritmih. Za potrditev oz. zavrnitev te domneve uporabimo statistični preizkus [9], ki temelji na naslednji statistiki:
F f =
(št.primerov — l)xp (k — l)št-primerov — Xf '
kjer je xF Friedmanova statistika [5]. Pri izbranem a je ničelna domneva zavrnjena, če je p-vrednost manjša od tveganja a. Pri preizkusu mnogoterih primerjav je treba p-vrednost ustrezno popraviti, tako da jo lahko neposredno primerjamo z izbrano a. Za izračšun popravljene p-vrednosti smo uporabili naslednje metode [6]: Nemenyievo, Holmovo, Shafferjevo in Bergmann-Hommelovo. Kot je razvidno iz tabele 3, pri a = 0.10 Nemenyieva metoda zavrača domneve 1-8, Holmova, Shafferjeva in Bergmann-Hommelova pa domneve 1-9. Pri a = 0.01 Nemenyieva metoda zavrača domneve 1-6, Holmova, Shafferjeva in Bergmann-Hommelova pa domneve 1-7.
4 Sklep
V sestavku je prikazan diferenčialni algoritem s stig-mergijo mravelj (DASA), kije namenjen numerični op-timizačiji. Algoritem DASA je uporabljen za dinamične optimizačijske probleme z zveznimi spremenljivkami, ki so bili predlagani za posebno sekčijo o dinamičnem op-timiziranju na kongresu o evolučijskem računanju, kije potekal maja 2009 v Trondheimu na Norveškem.
Algoritem DASA se je v primerjavi z drugimi prirejenimi algoritmi, kot so optimizačija z roji (PSO), samo-prilagodljiva diferenčialna evolučija (DE), evolučijsko programiranje (EP) in imunski algoritem (IA), izkazal za enega najuspešnejših. Uspesno je resil skoraj vse probleme, le pri kompozičiji Rastriginove funkčije (F3) ni dovolj hitro sledil dinamičšnim spremembam.
Očšitna prednost algoritma DASA je, da se lahko v nespremenjeni obliki uporablja za resevanje statičnih in tudi dinamičšnih optimizačijskih problemov. Pri dinamičšni op-timizačiji je algoritem neobčutljiv na različne dinamične spremembe. Uporaben je tudi tedaj, ko o resševanem problemu ne vemo veliko, saj mu zadošča le poznavanje največje razseznosti problema in njegovih vhodnih parametrov.
domneva		nepopravljena	popravl		ena p-vrednost	
		p-vrednost	Nemenyi	Holm	Shaffer	Bergman-Hommel
1	jDE vs. dopt-aiNet	1.10 E —25	1.10 E —24	1.10 E—24	1.10 E —24	1.10 E —24
2	DASA vs. dopt-aiNet	3.90 E—15	3.90 E—14	3.51 E—14	2.34 E-14	2.34 E—14
3	jDE vs. EP	8.93 E-09	8.93 E —08	7.14 E-08	5.36 E-08	5.36 E-08
4	CPSO vs .dopt-aiNet	8.03 E-08	8.03 E-07	5.62 E-07	4.82 E-07	3.21 E-07
5	jDE vs. CPSO	3.20 E-07	3.20 E —06	1.92 E-06	1.92 E-06	1.28 E —06
6	EP vs. dopt-aiNet	2.27 E —06	2.27 E —05	1.14 E-06	9.08 E-06	4.54 E-06
7	DASA vs. EP	0.0017	0.0175	0.0070	0.0070	0.0052
8	jDE vs. DASA	0.0088	0.0881	0.0264	0.0264	0.0176
9	DASA vs. CPSO	0.0127	0.1272	0.0264	0.0264	0.0176
10	CPSO vs. EP	0.5229	1.0	0.5229	0.5229	0.5229
Tabela 3. Popravljene p-vrednosti Table 3. Adjusted p-values
5 Literatura
[1]	J. Brest, A. Zamuda, B. Boškovic, M. Sepesy Maucec, V. Zumer, Dynamic optimization using self-adaptive differential evolution, Proc. IEEE Congress on Evolutionary Computation, Trondheim, Norway, May 2009, pp. 415— 422.
[2]	C. J. Eyckelhof, M. Snoek, Ant systems for a dynamic TSP, Lecture Notes in Coputer Science, 2463:88-99, 2002.
[3]	C. Fernandes, V. Ramos, A. C. Rosa, Stigmergic optimization in dynamic binary landscapes, Proc. 22nd Annual ACM Symposium on Applied Computing, Seoul, Korea, March 2007, pp. 747-748.
[4]	F. O. de Franca, F. J. Von Zuben, A dynamic artificial immune algorithm applied to challenging benchmarking problems, Proc. IEEE Congress on Evolutionary Computation, Thondheim, Norway, May 2009, pp. 423-430.
[5]	M. Friedman, The use of ranks to avoid the assumption of normality implicit in the analysis of variance, Journal of the American Statistical Association, 32 (200) :675-701, 1937.
[6]	S. Garcia, F. Herrera, An extension on "Statistical comparisons of classifiers over multiple data sets" for all pair-wise comparisons, Journal ofMachin Learning Research, 9:2677-2694, 2008.
[7]	M. Guntsch, M. Middendorf, A population based approach for ACO, Lecture Notes in Coputer Science, 2279:72-81, 2002.
[8]	M. Guntsch, M. Middendorf, Applying population based ACO to dynamic optimization problems, Lecture Notes in Coputer Science, 2463:111-122, 2002.
[9]	R. L. Iman, J. M. Davenport, Approxymations of the critical region of the Friedman statistic, Communication in Statistics, 9:571-595, 1980.
[10]	P. Korošec, J. Silc, Diferencialni pristop s stigmergijo mravelj k optimizaciji v zveznem prostoru, Elektrotehniški vestnik, 75(4):217-222, 2008.
[11]	P Korošec, J Silc, A stigmergy-based algorithm for continuous optimization tested on real-life-like environment, Lecture Notes in Computer Science, 5484:675-684, 2009.
[12]	P. Korošec, J. Silc, The differential ant-stigmergy algorithm applied to dynamic optimization problems, Proc. IEEE Congress on Evolutionary Computation, Trond-heim, Norway, May 2009, pp. 407-414.
[13]	P. Korosec, J. Silc, K. Oblak, F. Kosel, The differential ant-stigmergy algorithm: An experimental evaluation and a real-world application, Proc. IEEE Congress on Evolutionary Computation, Singapore, September 2007, pp. 157-164.
[14]	C. Li, S. Yang, A clustering particle swarm optimizer for dynamic optimization, Proc. IEEE Congress on Evolutionary Computation, Trondheim, Norway, May 2009, pp. 439-446.
[15]	C. Li, S. Yang, T. T. Nguyen, E. L. Yu, X. Yao, Y. Jin, H.-C. Beyer, P. N. Suganthan, Benchmark Generator for CEC'2009 Competition on Dynamic Optimization, September 15, 2008. http://www.cs.le.ac.uk/ people/syang/ECiDUE/
[16]	W. Tfaili, J. Dreo, P. Siarry, Fitting of an ant colony approach to dynamic optimization through a new set of test functions, International Journal of Computational Intelligence Research, 3:203-216, 2007.
[17]	E. L. Yu, P. N. Suganthan, Evolutionary programming with ensemble of external memories for dynamic optimization, Proc. IEEE Congress on Evolutionary Computation, Trondheim, Norway, May 2009, pp. 431-438.
Peter Korošec je raziskovaleč na Institutu "Jozef Stefan" v Ljubljani in predavatelj na Fakulteti za matematiko, naravoslovje in informačijske tehnologije Koper. Njegovo raziskovalno področje je uporaba metahevrističnih optimizačijskih metod pri numeričnem in kombinatoričnem optimiziranju.
Jurij Silc je višji znanstveni sodelaveč na Odseku za računalniške sisteme Instituta "Jozef Stefan" v Ljubljani in predavatelj na Mednarodni podiplomski šoli Jozefa Stefana v Ljubljani. Raziskovalno se ukvarja z računalniškimi sistemi in strukturami ter metahevrističšnim optimiziranjem.