306 KB0 KB200820262023Virk, Žigaštevilka:1letnik:70str. 1-13ISSN:0473-7466COBISSID_HOST:158288899URN:URN:NBN:SI:doc-PUKKTKIAslDruštvo matematikov, fizikov in astronomov SlovenijeObzornik za matematiko in fizikocoding theorymeasure of surprisemera presenečenjarelative entropyrelativna entropijateorija informacijRelativna entropija kot mera presenečenja|Using the interpretation developed by the coding theory we explain how we measure the amount of information, average content of information (entropy) and surprisal arising from the lengths of codes. The measure of surprisal is known under various names: relative entropy, Kullback-Leibler divergenceSkozi interpretacijo teorije informacij razložimo, kako merimo količino informacij, povprečno količino informacij (entropijo) ter presenečenja, ki izhajajo iz dolžin sporočil. Mera presenečenja je poznana pod različnimi imeni: relativna entropija, Kullback-Leiblerjeva divergencaTEXTznanstveno časopisjejournalsSlovenian National E-content AggregatorNational and University Library of SloveniaDruštvo matematikov, fizikov in astronomov