Mr. Veselin Andrić odbranio je svoj diplomski rad pod nazivom „Prompt inženjering za velike jezičke modele (LLM)“ na Fakultetu za informacione sisteme i tehnologije. Odbrana je održana 2. oktobra 2024. godine, a rad je realizovan uz mentorstvo članova timova EuroCC (NCC Crna Gora) i HPC4S3ME. Ovaj rad predstavlja dio šire inicijative za promociju HPC i AI tehnologija u nastavnim programima i istraživačkim aktivnostima na UDG-u.
APSTRAKT – Prompt inženjering predstavlja jednu od ključnih oblasti u okviru obrade prirodnog jezika (NLP). To je proces koji podrazumijeva dizajniranje i unapređenje ulaznih podataka koji se daju jezičkim modelima kao što je ChatGPT, sa ciljem dobijanja željenih rezultata. Ova disertacija istražuje detalje prompt inženjeringa, njegove teorijske osnove, metodologije i praktične primjene u različitim NLP zadacima.
Mr. Veselin Andric defended his BSc thesis on Prompt EngineeringThe provided an overview of NLP, LLMs and prompt techniques
Dobrodošli u podcast „Superračunarstvo u Evropi“ koji realizuju EuroCC i mreža Centara izvrsnosti, gdje ćemo razgovarati o svemu što se tiče superračunara.
Slušajte priče gostiju iz cijele Evrope koji govore o svom radu i daju nam zanimljive uvide u ulogu superračunara u različitim oblastima kao što su nauke o životu, mašinsko učenje, inženjering, nauka o podacima, kvantno računarstvo i još mnogo toga.
U prvoj epizodi slušajte Andersa Dam Jensena, izvršnog direktora EuroHPC Joint Undertaking (EuroHPC JU), kako razgovara sa Apostolosom Vasileiadisom, stručnjakom za komunikacije iz ENCCS, RISE Research Institutes of Sweden, o EuroHPC JU i stanju superračunarstva u Evropi i njegovoj budućnosti.
U drugoj epizodi slušajte Martu García-Gasulla i Filippa Mantovanija iz Barcelona Supercomputing Center, koji sa Sally Kiebdaj iz Centra izvrsnosti za eksaskalnu CFD simulaciju, HLRS – Centar za računare visokih performansi u Štutgartu, razgovaraju o European Processor Initiative i CEEC CoE.
Novi naučni rad „Sizing HPC Opportunities in Montenegro: Market Insights, Best Practices and Use Cases“ objavljen je u naučnom časopisu Entrepreneurial Economy.
Rad ističe ključnu ulogu računara visokih performansi (HPC) u rješavanju kritičnih društvenih, naučnih i industrijskih izazova, i istražuje njegov sve veći uticaj na poslovanje kroz donošenje odluka zasnovanih na podacima, optimizaciju radnih procesa i inovativni dizajn proizvoda. Studija naglašava značaj HPC infrastrukture, Cloud servisa i primjene vještačke inteligencije u podsticanju digitalne transformacije i unapređenju konkurentnosti malih i srednjih preduzeća. Istraživanje takođe identifikuje ključne izazove u Crnoj Gori, uključujući nedostatak stručnog kadra iz oblasti HPC-a, nisku potražnju za kritičnim HPC performansama i određene izazove u vezi sa bezbjednošću podataka i intelektualnom svojinom. Uprkos tim izazovima, istraživanje tržišta je pokazalo prilike za HPC koje se odnose na visoku stopu usvajanja Cloud tehnologija, razvoj inovativnih proizvoda i povoljne poslovne izglede. Rad opisuje i aktivnosti Nacionalnog centra kompetencija za HPC Crna Gora, uspostavljenog kroz projekat EuroCC, koje se odnose na pokrenute akademske programe i obuke u oblasti HPC-a i AI, kao i uspješne industrijske saradnje, potvrđene kroz primjere iz pametne poljoprivrede, precizne vremenske prognoze i FinTech sektora.
Korišćenjem nacionalne ekspertize i međunarodnih superračunarskih resursa, NCC Crna Gora je efikasno integrisao HPC tehnologije u istraživačke i poslovne procese, podstičući tehnološke inovacije i pametan razvoj.
Kao dio orijentacione nedjelje za nove studente, EuroCC Nacionalni centar kompetencija Crna Gora organizovao je radionicu o superračunarstvu sa ciljem da upozna nove univerzitetske studente sa uzbudljivim svijetom računara visokih performansi (HPC).
Radionica je sadržala interaktivne sesije tokom kojih su studenti mogli da steknu uvide u savremene tehnologije koje se koriste u superračunarstvu, kao što su paralelna obrada, inteligentni algoritmi i analitika podataka. Stručnjaci iz NCC-a su vodili učesnike kroz tehničke osnove HPC sistema, demonstrirali primjene u stvarnom svijetu koje se odnose na obradu velikih podataka i napredno AI modeliranje, ali su takođe pružili primjere akademskih studija slučaja i industrijskih primjena, uključujući i crnogorske uspješne priče.
Cilj radionice bio je i da se pruži kratak pregled akademskih programa povezanih sa HPC/AI, portfolija obuka i aktivnosti NCC-a, kako bi se studentima pokazalo na koji način mogu iskoristiti resurse superračunara za akademske projekte i naučna istraživanja, ili čak za startap ideje i potencijalnu saradnju sa industrijom.
Upoznavanjem novih studenata sa potencijalom superračunarstva na samom početku njihovog akademskog puta, NCC ima za cilj da podrži razvoj studenata u karijerama sa velikom potražnjom vođenim tehnologijom, i da podstakne zajednicu inovativnih mislilaca spremnih da se suoče sa složenim i ključnim izazovima savremenog svijeta.
Univerzitet Donja Gorica, uz podršku Fonda za inovacije Crne Gore, u okviru programa za organizaciju edukacije u oblastima pametne specijalizacije Crne Gore, organizuje tromjesečnu obuku pod nazivom „AIFUSION – Vještačka inteligencija u poljoprivredi, medicini i energetici“. Kurs će se održavati u periodu od kraja septembra (21. septembar) do kraja decembra (21. decembar) 2024. godine.
Edukativni program je podijeljen u 5 modula:Uvod u vještačku inteligenciju, Kompjuterska vizija, Obrada prirodnog jezika, Vještačka inteligencija i S3 u praksi i Etika i odgovorna upotreba vještačke inteligencije i rad na završnom projektu.
Osim što će učesnici steći dovoljno znanja i vještina potrebnih za dalja istraživanja u ovoj veoma aktuelnoj oblasti, imaće i priliku da prošire svoju mrežu poznanstava i upoznaju mlade ljude sličnih interesovanja.
Za prijavu je potrebno popuniti Google formu na linku: https://forms.gle/f8Pc8ozu9U3tHKY98. Prijave traju do 20. septembra (do 23:59 časova), a početak kursa je planiran za 21. septembar.
Predstavnik NCC Montenegro Luka Filipović aktivno je učestvovao kao asistent u nastavi na virtuelnom kampu „AI za naučne proračune“, koji su uz podršku kompanije Nvidia i projekta EuroCC2 uspješno organizovali nacionalni centri kompetencija Njemačke, Švedske, Austrije i Crne Gore, 25–26. juna 2024. godine.
Virtuelni kamp je ponudio sveobuhvatan uvod u duboke neuronske mreže, sa fokusom na primjene u naučnim proračunima i fizičkim sistemima definisanim diferencijalnim jednačinama. Program je obuhvatio napredne teme zasnovane na NVIDIA Modulus platformi za razvoj i treniranje modela u različitim oblastima. Ova online obuka uključivala je vođene instrukcije i podršku asistenata iz više nacionalnih centara kompetencija kako bi se olakšalo učenje i podržalo učesnike u razvoju i unapređenju AI/DL modela.
Predstavnici NCC Montenegro, u zajedničkom radu sa mladim istraživačima sa UDG-a, objavili su dva naučna rada na konferenciji SymOrg 2024, koju organizuje Fakultet organizacionih nauka Univerziteta u Beogradu, a koja se održala na Zlatiboru, Srbija, od 12. do 14. juna 2024. godine. Konferencija je tradicionalno osmišljena kao platforma za inovaciju znanja i empirijska istraživanja, okupljajući predstavnike naučne i stručne zajednice, a ovogodišnja tema bila je: „Otključavanje skrivenog potencijala organizacije spajanjem ljudi i digitalnog“, sa ciljem adresiranja novonastale potrebe za ravnotežom u eri vještačke inteligencije.
Image source: SymOrg 2024 website
Naučni rad „Detekcija skolioze“ autora Elvis Taruh, Enisa Trubljanin i Dejan Babić istražuje primjenu modela dubokog učenja integrisanog sa veb aplikacijom za detekciju skolioze koristeći rendgenske snimke. Koristeći skup od 198 rendgenskih snimaka sa Roboflow platforme, inicijalni rezultati modela nisu bili zadovoljavajući, pa je izvršena ručna anotacija 245 snimaka, što je značajno poboljšalo preciznost modela. Za treniranje su korišćena dva modela bazirana na YOLOv8, savremenom algoritmu za detekciju objekata. Veb aplikacija, razvijena pomoću Flask, HTML, CSS i JavaScript, pruža korisnički interfejs za analizu rezultata detekcije, dok je backend baziran na MySQL bazi podataka za upravljanje snimcima i prikaz rezultata. Mjerne metrike pokazuju da je drugi model, sa unaprijeđenim anotacijama i augmentacijom, imao bolje performanse, izbjegao overfitting i pokazao veću preciznost. Ovaj pristup doprinosi ranijoj dijagnostici skolioze i nudi skalabilno rješenje za druge medicinske izazove, omogućavajući zdravstvenim radnicima preciznije dijagnostičke alate i bolju brigu o pacijentima.
Click on image to open SymOrg 2024 proceedings
U radu „LLM konzistentna pristrasnost karaktera“, autori Igor Ćulafić i Tomo Popović istražuju potencijal velikih jezičkih modela (LLM) za imitaciju karaktera u medijima, obrazovanju i zabavi. Dok se LLM obično koriste za pretragu weba ili programiranje, ovo istraživanje se fokusira na njihovu sposobnost oponašanja specifičnih likova iz književnosti. Korišćen je dataset iz antologije Ciaphas Cain iz univerzuma Warhammer 40k, a modeli su trenirani pomoću LoRA (Low-Rank Adaptation) metode. Testirana su tri modela različitih veličina (1.1B, 7B i 10.7B parametara), a treniranje je obavljeno na NVIDIA RTX 4090 GPU. Istraživanje je pokazalo da su veći modeli (7B i 10.7B) imali bolju konzistentnost u ponašanju karaktera, iako su povremeno imali problema sa detaljima i prikazivali neočekivana ponašanja poput prekomjerne upotrebe emotikona. Najmanji model (1.1B), i pored viših LoRA Rank parametara, bio je manje efikasan i sklon greškama poput ponavljanja odgovora i bespotrebnih izlaganja. Autori zaključuju da LLM modeli mogu uspješno imitirati fikcionalne likove uz odgovarajuće podatke i treniranje, a buduća poboljšanja bi ih mogla učiniti korisnim u obrazovanju i terapiji. Modeli imaju potencijal za obogaćivanje interaktivnog iskustva u tematskim parkovima, video igrama i edukativnim alatima. Ipak, autori upozoravaju da se ovi modeli ne koriste kao zamjena za terapeute zbog njihovih ograničenja i mogućih netačnosti.
Click on image to open SymOrg 2024 proceedings
Oba naučna rada su djelimično podržana kroz EuroCC2 projekat, koji finansira Zajedničko preduzeće za evropsko visokoperformantno računarstvo (EuroHPC JU) u okviru ugovora o grantu br. 101101903.
