928 KB64 KB201020262026Jurišić, MarkoTomičić, Igorstr. 1-24številka:vol. 28ISSN:2232-2981COBISSID_HOST:273493251URN:URN:NBN:SI:doc-O44E68DCenUniverza v Mariboru, Fakulteta za varnostne vedeVarstvoslovjeanomaly detectionCERTCERT datasetdataset biasevaluation metricsevalvacijske metrikeinsider threat detectionmachine learningnabor podatkovodkrivanje notranjih groženjpristranskost nabora podatkovstrojno učenjezaznavanje anomalijThe Cert dataset decade| a systematic review of methodological evolution and performance bias|Purpose: The purpose of this paper is to identify methodological biases and limitations in machine learning–based insider threat detection using the Computer Emergency Response Team CERT dataset, in order to guide the development of more realistic, robust, and operationally relevant detection approaches. Design/Methods/Approach: The objectives are achieved through a systematic literature analysis of 131 peer-reviewed studies published between 2013 and 2025 that apply machine learning to insider threat detection using the CERT dataset, employing a Preferred Reporting Items for Systematic Reviews and Meta-Analyses PRISMA-guided selection process and a structured comparative framework to examine dataset versions, feature engineering strategies, model architectures, and evaluation metrics from a methodological and empirical perspective. Findings: The analysis shows that most studies rely on the less realistic CERT v4.2 dataset, resulting in inflated performance that does not generalize to operational settings. It also finds that feature engineering is a stronger determinant of detection performance than model complexity, while inconsistent evaluation practices hinder meaningful comparison across studies. Research Limitations / Implications: The study is limited by its reliance on published research using a single synthetic dataset, which constrains generalization to real-world environments. Practical Implications: The findings indicate that practitioners should be cautious when adopting models validated on simplified benchmark settings, and instead prioritize solutions tested under extreme class imbalance. Emphasis should be placed on robust feature engineering, unsupervised or hybrid detection approaches, and evaluation metrics. Originality/Value: This paper provides the first large-scale, methodologically focused analysis of insider threat detection research that explicitly exposes performance inflation caused by dataset version bias and evaluation inconsistency, offering concrete, evidence-based guidance for improving the realism, comparability, and operational value of future studies in the fieldNamen prispevka: Namen prispevka je opredeliti metodološke pristranskosti in omejitve pri odkrivanju notranjih groženj na osnovi strojnega učenja z uporabo nabora podatkov CERT, da bi usmerili razvoj bolj realističnih, robustnih in operativno uporabnih pristopov za zaznavanje. Metode: Cilji so doseženi s sistematično analizo literature 131 recenziranih študij, objavljenih med letoma 2013 in 2025, ki uporabljajo strojno učenje za odkrivanje notranjih groženj na podlagi nabora podatkov CERT. Uporabljena sta bila postopek izbora po smernicah Prednostne postavke poročanja za sistematične preglede in metaanalize (angl. PRISMA – Preferred Reporting Items for Systematic Reviews and Meta-Analyses) ter strukturiran primerjalni okvir za proučevanje različic nabora podatkov, strategij značilnosti inženiringa, arhitektur modelov in evalvacijskih metrik z metodološkega in empiričnega vidika. Ugotovitve: Analiza kaže, da se večina študij zanaša na manj realističen nabor podatkov CERT v4.2, kar vodi do precenjenih rezultatov zmogljivosti, ki se ne posplošujejo na operativna okolja. Poleg tega ugotavlja, da je značilnost inženiringa pomembnejši dejavnik uspešnosti zaznavanja kot kompleksnost modelov, medtem ko nedosledne evalvacijske prakse otežujejo smiselno primerjavo med študijami. Omejitve/uporabnost raziskave: Študija je omejena zaradi zanašanja na objavljeno literaturo, ki uporablja en sam sintetični nabor podatkov, kar omejuje posploševanje na resnična okolja. Praktična uporabnost: Ugotovitve kažejo, da bi morali biti praktiki previdni pri uvajanju modelov, validiranih na poenostavljenih referenčnih okoljih, ter namesto tega dajati prednost rešitvam, preizkušenim v pogojih izrazite neuravnoteženosti razredov. Poudarek bi moral biti na značilnosti robustnega inženiringa, nenadzorovanih ali hibridnih pristopih zaznavanja ter evalvacijskih metrikah. Izvirnost/pomembnost prispevka: Prispevek predstavlja prvo obsežno, metodološko usmerjeno analizo raziskav na področju odkrivanja notranjih groženj, ki izrecno razkriva precenjenost rezultatov zmogljivosti zaradi pristranskosti različic naborov podatkov in nedoslednosti evalvacije ter ponuja konkretna, na dokazih temelječa priporočila za izboljšanje realističnosti, primerljivosti in operativne vrednosti prihodnjih raziskav na tem področjuTEXTznanstveno časopisjejournalsSlovenian National E-content AggregatorNational and University Library of SloveniaUniverza v Mariboru, Fakulteta za varnostne vede