Magistarski rad o učenju međujezičkog transfera u velikim jezičkim modelima

G. Igor Ćulafić uspješno je odbranio svoj magistarski rad pod nazivom „Učenje međujezičkog transfera u velikim jezičkim modelima: Zakoni skaliranja i parametarski efikasno fino podešavanje za višejezične aplikacije“. Njegovo istraživanje pruža sveobuhvatnu studiju međujezičkog transfera za crnogorski jezik, kombinujući prilagođeni poluautomatski skener knjiga u obliku slova V, YOLOv11 + Tesseract OCR cjevovod i kreiranje 46.661 paralelnih parova paragrafa. Korištenjem LoRA finog podešavanja na Qwen2.5-7B i Qwen3-30B – izvršenog na superračunaru Leonardo EuroHPC – rad demonstrira parametarski efikasnu adaptaciju (samo 1,05% parametara koji se mogu obučavati) i nudi uvid u ponašanje modela u kulturnom razumijevanju, miješanju pisama i analitičkom zaključivanju. Ovo istraživanje je podržao tim NCC Montenegro i koristilo je računarske resurse HPC klastera i EuroHPC JU.

V-shaped book scanner prototype used to create datasets

SAŽETAK – Ovaj rad predstavlja sveobuhvatno istraživanje međujezičkog transfernog učenja u velikim jezičkim modelima sa fokusom na parametarski efikasno fino podešavanje za crnogorski jezik. Istraživanje integriše razvoj prilagođenog polu-automatizovanog skenera knjiga sa V-oblik dizajnom i tok obrade kompjuterske vizije koji koristi YOLO v11 modele i Tesseract OCR za digitalizaciju 5000 knjiga na crnogorskom i 40000 knjiga na engleskom jeziku, iz javnog domena, rezultujući sa 46661 paralelnih paragrafskih parova. Implementacija LoRA finog podešavanja na Qwen2.5-7B i Qwen3-30B modelima sprovedena je na Leonardo HPC superračunaru, postižući memorijsku efikasnost sa samo 1.05% trainable parametara. Komparativna analiza kroz strukturirani benchmark od deset progresivno složenijih pitanja otkriva ograničene ali pozitivne efekte finog podešavanja, pri čemu veći modeli pokazuju bolje performanse u razumijevanju opšteg znanja i analitičkim zadacima, dok sistemska analiza identifikuje specifične probleme poput miješanja pisma i kulturnih nepreciznosti koji zahtijevaju specijalizovane pristupe.