396 KB0 KB201420262025Majer, Oliverštevilka:110 str.letnik:12COBISSID_HOST:232929283ISSN:2385-8567URN:URN:NBN:SI:doc-ZW2RV6PNenZaložba Fakultete za matematiko in fiziko Univerze v LjubljaniMatrikadeep learning modelgloboke nevronske mreželarge language modelsTransformer architectureveliki jezikovni modeliThe Transformer architecture in large language models|The article presents the Transformer architecture, a foundational deep learning model that has driven the development of large language models. Central to this architecture is the attention mechanism, particularly the self-attention process, which allows the model to process input sequences of varying lengths and decode the semantic relationships among tokens. The article also explains how text is transformed into high-dimensional vector embeddings and how these representations contribute to understanding linguistic context. By delving into these key concepts, the article highlights the Transformer’s influence on the development and efficiency of current state-of-the-art language modelsV članku je predstavljena arhitektura Transformer, temelj globokih nevronskih mrež, ki je spodbudil razvoj velikih jezikovnih modelov. Ključni element te arhitekture je mehanizem pozornosti, ki modelu omogoča obdelavo vhodov različnih dolžin in razčlenjevanje semantičnih razmerij med besedami. Pojasnjeno je tudi, kako se vhodno besedilo pretvori v visokodimenzionalen vektorje ter kako takšna predstavitev prispeva k razumevanju jezikovnega konteksta. Cilj članka je, da bralcu skozi poglabljanje v ključne koncepte Transformerja omogoči boljše razumevanje velikih jezikovnih modelovTEXTznanstveno časopisjejournalsSlovenian National E-content AggregatorNational and University Library of Slovenia