Magistarski rad o učenju međujezičkog transfera u velikim jezičkim modelima

G. Igor Ćulafić uspješno je odbranio svoj magistarski rad pod nazivom „Učenje međujezičkog transfera u velikim jezičkim modelima: Zakoni skaliranja i parametarski efikasno fino podešavanje za višejezične aplikacije“. Njegovo istraživanje pruža sveobuhvatnu studiju međujezičkog transfera za crnogorski jezik, kombinujući prilagođeni poluautomatski skener knjiga u obliku slova V, YOLOv11 + Tesseract OCR cjevovod i kreiranje 46.661 paralelnih parova paragrafa. Korištenjem LoRA finog podešavanja na Qwen2.5-7B i Qwen3-30B – izvršenog na superračunaru Leonardo EuroHPC – rad demonstrira parametarski efikasnu adaptaciju (samo 1,05% parametara koji se mogu obučavati) i nudi uvid u ponašanje modela u kulturnom razumijevanju, miješanju pisama i analitičkom zaključivanju. Ovo istraživanje je podržao tim NCC Montenegro i koristilo je računarske resurse HPC klastera i EuroHPC JU.

V-shaped book scanner prototype used to create datasets

SAŽETAK – Ovaj rad predstavlja sveobuhvatno istraživanje međujezičkog transfernog učenja u velikim jezičkim modelima sa fokusom na parametarski efikasno fino podešavanje za crnogorski jezik. Istraživanje integriše razvoj prilagođenog polu-automatizovanog skenera knjiga sa V-oblik dizajnom i tok obrade kompjuterske vizije koji koristi YOLO v11 modele i Tesseract OCR za digitalizaciju 5000 knjiga na crnogorskom i 40000 knjiga na engleskom jeziku, iz javnog domena, rezultujući sa 46661 paralelnih paragrafskih parova. Implementacija LoRA finog podešavanja na Qwen2.5-7B i Qwen3-30B modelima sprovedena je na Leonardo HPC superračunaru, postižući memorijsku efikasnost sa samo 1.05% trainable parametara. Komparativna analiza kroz strukturirani benchmark od deset progresivno složenijih pitanja otkriva ograničene ali pozitivne efekte finog podešavanja, pri čemu veći modeli pokazuju bolje performanse u razumijevanju opšteg znanja i analitičkim zadacima, dok sistemska analiza identifikuje specifične probleme poput miješanja pisma i kulturnih nepreciznosti koji zahtijevaju specijalizovane pristupe.

NCC Montenegro na 13. Festivalu nauke – Superračunari i vještačka inteligencija

U petak, 26. septembra, u Bemax areni u Podgorici biće održan XIII Festival nauke – „Evropska noć istraživača“, u organizaciji Fondacije za promociju nauke PRONA (https://festival-nauke.me/).

NCC Montenegro na 13. Festivalu nauke

Nacionalni centar kompetencija za visoke performanse – NCC Montenegro (EuroCC2 i EuroCC4SEE), predstavljen kroz Univerzitet Donja Gorica, učestvovaće na ovom najvećem događaju u Crnoj Gori posvećenom popularizaciji nauke i inovacija.

Interakcija sa najmlađim učesnicima

Kroz brojne projekte i demonstracije biće prikazano kako superračunari i vještačka inteligencija (HPC/AI) oblikuju budućnost:

  • Poljoprivreda – projekat AIMHiGH koristi AI za analizu bolesti i ponašanja živine u realnom vremenu.
  • Ljudski resursi – AI alati za unapređenje poslovnih procesa i objektivnije donošenje odluka.
  • Medicina – projekat AI-AGE razvija AI modele za detekciju biomarkera starenja na osnovu medicinskih snimaka.

Ovo je prilika da se posjetiocima pokaže na koji način HPC i AI doprinose održivom razvoju i digitalnoj transformaciji društva, kao i da se naglasi aktivna uloga Crne Gore u evropskom istraživačkom prostoru.

Kroz EuroCC2 i EuroCC4SEE projekte, NCC Montenegro nastavlja da gradi mostove između nauke i industrije, pruža podršku istraživačima i privredi u razvoju novih digitalnih rješenja, i pozicionira Crnu Goru kao dio evropske superračunarske i AI zajednice.

Festival nauke promoviše povezivanje nauke, inovacijai društva

Festival nauke još jednom potvrđuje značaj NCC Montenegro u povezivanju nauke, inovacija i društva.

Konferencijski rad: Generisanje slika u realnom vremenu na ARM edge uređajima

Istraživači sa Univerziteta Donja Gorica (UDG) predstavili su svoje najnovije rezultate na 2025 IEEE International Symposium on Applied Sciences (ISAS). Rad pod naslovom „Real-time Image Generation Utilizing ARM SBC Architecture“ sada je objavljen u IEEE i dostupan na [link]-u.

Klikni na sliku da se otvori rad

Autori Igor Ćulafić, Tomo Popović, Ivan Jovović i Stevan Ćakić istražuju mogućnosti primjene naprednih generativnih AI modela na ARM edge uređajima, konkretno na platformi NVIDIA Jetson Orin Nano. Dok je generisanje slika u realnom vremenu pomoću modela poput Stable Diffusion do sada zahtijevalo snažne desktop GPU-ove ili HPC klastere, ovo istraživanje pokazuje da se uz pažljivu CUDA optimizaciju, prilagođavanje ARM arhitekturi i dinamičko upravljanje resursima može postići performansa od 2–6 FPS pri rezoluciji 512×512 direktno na niskoenergetskim edge uređajima.

Rad se bavi izazovima vezanim za termalno upravljanje, ograničenja memorije i softversku kompatibilnost, predlažući ARM-optimizovano Docker okruženje i adaptivno balansiranje opterećenja. Rezultati pokazuju kako decentralizovani, energetski efikasni edge sistemi mogu dopuniti HPC ekosisteme, otvarajući nove mogućnosti u oblastima kao što su zdravstvo, automobilska industrija i pametni gradovi.

Ova publikacija takođe odražava misiju NCC Montenegro da podrži akademsku zajednicu i mlade istraživače u razvoju znanja iz oblasti vještačke inteligencije i visokoperformansnog računarstva (HPC). Kroz ekspertizu, resurse i saradnju, NCC Montenegro doprinosi jačoj integraciji domaćeg istraživačkog rada u evropski HPC ekosistem.

Podrška mladim istraživačima sa Elektrotehničkog fakulteta

Tim NCC Crne Gore, sa Univerziteta Crne Gore (UCG) se redovno sastaje i sarađuje sa raznim istraživačkim grupama unutar univerziteta. Na taj način prate nove istraživačke projekte, nove istraživačke pravce, a posebno sa teme kojima se bave mladi istraživači. Kao rezultat toga, identifikovana je potreba za HPC resursima za master istraživanje koje sprovode dva asistenta na Elektrotehničkom fakultetu UCG-a, pod mentorstvom docenta Miloša Brajovića.

Njihovo istraživanje se bavi grafovskim neuronskim mrežama (GNN), sa posebnim fokusom na reprezentaciju podataka, interpretabilnost i skalabilnost za složene naučne skupove podataka. GNN su pokazale izuzetan potencijal u modeliranju relacijskih i strukturiranih podataka u različitim domenima, uključujući fiziku, hemiju, biologiju i računarski vid. Međutim, uprkos njihovoj prediktivnoj moći, njihova priroda “crne kutije” predstavlja izazove u smislu objašnjivosti i pouzdanosti, posebno u kritičnim primjenama kao što su naučna otkrića i inženjerstvo.

Uspješna prijava za EuroHPC resurse

Da bi se izvršila analiza najsavremenijih GNN arhitektura, procijenile njihove performanse i skalabilnost, te razvili i testirali novi GNN modeli i tehnike interpretacije za aplikacije zasnovane na grafovima, ova dva istraživača će trebati pristup HPC resursima. Stoga ih je tim NCC Crne Gore podržao u pripremi i podnošenju prijave za poziv za razvoj kako bi dobili pristup Leonardo HPC-u. Kao rezultat toga, dobili su pristup Leonardo Booster particiji, osiguravajući 4500 radnih sati za svoja istraživanja.

Odbrana master rada: Razvoj Edge/AI aplikacija uz podršku HPC-a

Kandidat Elvis Taruh uspješno je odbranio master rad pod nazivom “Razvoj Edge/AI aplikacija uz podršku HPC-a” na Fakultetu za informacione sisteme i tehnologije Univerziteta Donja Gorica.

Kandidat Elvis Taruh

APSTRAKT – Efikasnost treniranja modela vještačke inteligencije (AI) postaje glavni faktor u savremenim istraživanjima, naročito kada su u pitanju kompleksni sistemi koji zahtijevaju veliku računarsku snagu. Ovaj rad istražuje kako primjena računarstva visokih performansi (HPC) i Edge uređaja može optimizovati proces treniranja AI modela, smanjujući vrijeme obrade i poboljšavajući efikasnost. Kroz eksperimentali pristup, analizirano je treniranje AI modela na tri različite platforme. Lokalni računar, Google Colab i HPC klaster na Univerzitetu Donja Gorica. Kao praktičan primjer, korišćena je detekcija stoke. Poređenjem vremena treniranja, potrošnje memorije i preciznosti modela, istraživanje pokazuje kako HPC klasteri značajno ubrzavaju proces obuke u odnosu na klasične metode, dok edge uređaji omogućavaju bržu analizu podataka u realnom vremenu.

Prisustvovalo je oko 30 ljudi. Ovo je bila mala proslava za projekte EuroCC2 i EuroCC4SEE.

Odbrana master rada: AI tutor uz primjenu LLM modela i HPC tehnologija

Kandidat Arnad Lekić uspješno je odbranio master rad pod nazivom “Razvoj AI tutora koristeći velike jezičke modele i HPC” na Fakultetu za informacione sisteme i tehnologije Univerziteta Donja Gorica. I ova teza je urađena u kontekstu i uz podršku EuroCC2 i EuroCC4SEE projekata.

Kandidat Arnad Lekić

APSTRAKT – Ovaj rad se bavi razvojem personalizovanog AI tutora korišćenjem velikih jezičkih modela (LLM), sa posebnim fokusom na LLaMA arhitekturu i primjenu High-Performance Computing (HPC) resursa. U okviru istraživanja, realizovan je proces preuzimanja, postavljanja i evaluacije otvorenog LLaMA modela, sa ciljem da se razvije sistem sposoban za automatsko ocjenjivanje testova. Poseban akcenat je stavljen na efikasnost i mogućnosti treniranja modela u lokalnim uslovima koristeći dostupne računarske nodove, uz poređenje sa cloud rješenjima poput Google Colab-a. Pored tehničke realizacije, razmatrani su i etički izazovi primjene generativne AI u obrazovanju. Kroz eksperimentalnu analizu pokazano je da se otvoreni modeli mogu prilagoditi i koristiti za obrazovne svrhe, uz mogućnost proširenja na ocjenjivanje različitih tipova ispita i generisanje edukativnih sadržaja. Rad daje smjernice za budući razvoj sistema koji bi koristio naprednije multimodalne modele za složenije zadatke.

Odbrani je prisustvovalo preko 30 ljudi. Tog dana smo imali tri kandidata, svi u okviru EuroCC2 i EuroCC4SEE.

Odbrana master rada: HPC i vještačka inteligencija u unapređenju obrazovanja

Kandidatkinja Enisa Trubljanin uspješno je odbranila master rad pod nazivom „Duboko učenje sa primjenom u edukaciji“ na Fakultetu za informacione sisteme i tehnologije Univerziteta Donja Gorica. Razvoj i testiranje ovih rješenja realizovani su uz podršku resursa HPC resursa dostupnih kroz EuroCC inicijativu u Crnoj Gori i na univerzitetu.

Kandidatkinja Enisa Trubljanin

APSTRAKT – Ovom magistarskom tezom istražuje se mogućnost primjene dubokog učenja u obrazovanju, kroz razvoj i evaluaciju dvije konkretne aplikacije: inteligentnog chatbot-a za rješavanje problema matrica i modela za detekciju varanja tokom online ispita putem analize pokreta očiju. Prvi dio rada obuhvata teorijsku osnovu dubokog učenja, sa fokusom na neuronske mreže, njihove arhitekture, transfer učenje i evaluacione metrike. U praktičnom dijelu, prikazan je razvoj chatbot-a baziranog na naprednim jezičkim i matematičkim modelima, implementiranog pomoću resursa klastera super računara, čime se studentima omogućava interaktivno učenje matematike. Takođe, razvijen je model za prepoznavanje varanja pomoću analize pokreta pogleda, treniran na Columbia Gaze Dataset-u i integrisan u sistem za nadzor online ispita. Rezultati evaluacije pokazuju visok stepen tačnosti i korisničkog zadovoljstva kod oba rješenja. Pored tehničkog dijela, rad se bavi i osvrtom na privatnost i etička pitanja u primjeni vještačke inteligencije u obrazovanju. Na osnovu postignutih rezultata, ukazuje se na širok spektar potencijalnih primjena dubokog učenja u modernim obrazovnim sistemima.

Imali smo tri odlična kandidata tog dana!