18446 KB0 KB2026Ivanovska Preskar, Marijaštevilka:4letnik:93str. 187-194ISSN:0013-5852COBISSID_HOST:293732099URN:URN:NBN:SI:doc-OBSNILR6slElektrotehniška zveza SlovenijeElektrotehniški vestnikcomputer visiondetection of forged identity documentsexplainable artificial intelligencemultimodal large language modelspattern recognitionračunalniški vidrazložljiva umetna inteligencarazpoznavanje vzorcevvečmodalni veliki jezikovni modelizaznava ponarejenih osebnih dokumentovVideti še ne pomeni verjeti| zaznava ponarejenih osebnih dokumentov z velikimi jezikovnimi modeli|The rapid digitalisation of society has enabled remote identity verification based on photographs of identity documents, supporting a wide range of online services from banking to public administration. However, such systems remain vulnerable to document forgery and identity misuse, especially as modern image manipulation techniques become increasingly sophisticated and visually convincing. Traditional detection approaches rely on supervised models trained to recognize known artifacts and common forgery patterns. These methods struggle to generalize to novel manipulation techniques and typically provide only binary decisions without meaningful explanations, limiting trust in high-stakes applications. In this work, we investigate whether multimodal large language models (MLLMs) can address these limitations in a zero-shot setting. We present a large-scale systematic evaluation of six opensource models — DeepSeek-VL2-Tiny, LLaVA-1.6-Mistral7B, Qwen2.5-VL-7B, Gemma-3-12B, InternVL3.5-4B, and Pixtral-12B—on the IDNet benchmark, the largest standardised dataset of authentic and forged identity documents. Without task-specific training, we analyse their ability to detect forged documents and examine performance across different fraud categories and document templates. Our results indicate that MLLMs achieve strong performance in detecting diverse digital manipulations of identity documents. Nevertheless, a finer-grained analysis across issuing countries demonstrates that detection accuracy is significantly affected by the visual design and structural characteristics of individual documentsV dobi digitalizacije družbe je oddaljena identifikacija uporabnikov prek zajema fotografije osebnega dokumenta ključna za učinkovito vodenje storitev. Kakorkoli, sistemi, ki to omogočajo, so še vedno ranljivi in podvrženi napadom, ki med drugim vključujejo lažno identifikacijo s ponarejenimi osebnimi dokumenti. Običajne rešitve te težave uporabljajo algoritme, ki analizirajo pogoste napake, ki jih je mogoče zaslediti na ponarejenih dokumentih. Težava nastane, ko napake zaradi vedno bolj učinkovitih pristopov digitalnega manipuliranja slikovnih vsebin spremenijo svoj videz. Poleg tega obstoječi algoritmi za zaznavanje ponaredkov ne znajo jezikovno razložiti, zakaj je bil določen dokument označen kot ponaredek. V tej študiji se omenjenih težav lotevamo z raziskovanjem sodobnih večmodalnih velikih jezikovnih modelov (VVJM) v kontekstu zaznavanja ponarejenih osebnih dokumentov. Predstavimo prvo sistematično ovrednotenje šestih odprtokodnih prednaučenih modelov (DeepSeek-VL2-Tiny, LLaVA-1.6-Mistral-7B, Qwen2.5-VL-7B, Gemma-3-12B, InternVL3.5-4B, Pixtral-12B) z uporabo največje standardizirane podatkovne zbirke osebnih (avtentičnih in ponarejenih) dokumentov IDNet. Naša raziskava pokaže, da so VVJM zelo učinkoviti pri zaznavanju različnih vrst digitalnih manipulacij osebnih dokumentov. Podrobnejša analiza po državah, ki so dokumente izdale, pa razkrije, da je uspešnost zaznave močno odvisna od vizualnega sloga dokumentaTEXTznanstveno časopisjejournalsSlovenian National E-content AggregatorNational and University Library of SloveniaElektrotehniška zveza Slovenije