Industry Outreach: Istraživanje HPC prilika za ubrzanje inovacija u zdravstvu, obrazovanju i IT sektoru

NCC Crna Gora aktivno sprovodi svoju misiju podsticanja inovacija kroz razvoj vještačke inteligencije osnažene superračunarskim resursima, u saradnji sa domaćim kompanijama i startapima.

NCC Crna Gora je započeo konsultacije sa kompanijom Five Group, jednom od vodećih IT firmi u Crnoj Gori, specijalizovanom za 3D dizajn, gejming i sisteme bazirane na vještačkoj inteligenciji. Tokom razgovora razmatrane su mogućnosti korišćenja HPC resursa za unapređenje produktivnosti i podršku naprednim AI aplikacijama. Identifikovana su dva potencijalna projekta, kao i putevi za prijavu na EuroHPC resurse. Saradnja Five Group-a sa Univerzitetom Crne Gore dodatno potvrđuje njihovu posvećenost razvoju obrazovanja kroz inovativna rješenja.

Članovi NCC tima posjetili su kompaniju Čikom, jednu od najvećih IT kompanija u Crnoj Gori, kako bi razmotrili HPC podršku za projekat razvoja AI sistema za patološku analizu adenokarcinoma. NCC Crna Gora će obezbijediti stručne smjernice za optimizaciju računarskih modela s ciljem ubrzanja rezultata ovog projekta.

Startap ONE AI, uz podršku Fonda za inovacije, razvija projekat AIHeal koji integriše senzorske tehnologije i mobilne uređaje za praćenje zdravstvenog stanja pacijenata u realnom vremenu. Sistem omogućava preciznu dijagnostiku, smanjenje troškova i optimizaciju zdravstvenog nadzora. Uz podršku NCC Crna Gora, biće istražene mogućnosti korišćenja HPC resursa za poboljšanje obrade podataka u okviru AIHeal sistema, čime se obezbjeđuje efikasnost i pouzdanost njegovog funkcionisanja.

Ove saradnje, vođene zajedničkom vizijom tehnološke izvrsnosti i inovacija, jasno pokazuju potencijal HPC i AI tehnologija da unaprijede standarde u zdravstvu, obrazovanju i industriji.

Projekat „Generative AI Intelligent Process Automation Platform“ na Leonardo superračunaru

Kompanija Uhura Solutions razvija AI platformu za automatizaciju procesa zasnovanih na dokumentima u sektoru finansijskih usluga. Projekat „Generative AI Intelligent Process Automation Platform – GAIPAP“ predstavlja transformacionu inicijativu sa ciljem revolucionisanja finansijske industrije putem naprednih AI rješenja koja kombinuju mogućnosti velikih jezičkih modela (LLM), low-code razvoja i automatizovanih poslovnih tokova. Ova jedinstvena sinergija tehnologija ima potencijal da značajno unaprijedi operativnu efikasnost, smanji troškove i poboljša korisničko iskustvo u finansijskom sektoru.

Posebna vrijednost platforme leži u upotrebi prilagođenih velikih jezičkih modela koji su fino podešeni za specifične potrebe finansijskog sektora – jezik, kontekst i obrasce. To omogućava isporuku preciznijih i relevantnijih uvida u poređenju sa generičkim AI rješenjima. Dodatno, platforma omogućava skalabilnost, uvid u podatke u realnom vremenu, poboljšanje korisničkog iskustva i brzu implementaciju kroz low-code okruženje za razvoj i automatizovane poslovne tokove, čime se skraćuje vrijeme izlaska na tržište i povećava konkurentska prednost.

Projekat koristi open-source Python biblioteke i unaprijed trenirane LLM modele, koji se dodatno fino podešavaju na privatnom skupu podataka kreiranom od strane tima, sa ciljem rješavanja specifičnih zadataka u finansijskom sektoru. Korišćenje superračunara Leonardo omogućilo je značajan iskorak u treniranju LLM modela, prelazak sa 1B na 7B i veće modele. Trenutna faza projekta fokusira se na istraživanje i optimizaciju LLM-a, uključujući podešavanje hiperparametara, kvantizaciju i redukciju modela, kao i efikasno fino podešavanje modela (PEFT). Posebna pažnja posvećena je i predobradi podataka, uključujući filtriranje po kvalitetu, deduplikaciju i uklanjanje osjetljivih podataka.

Projekat, koji razvija i vodi Uhura Solutions, nagrađen je sa 4.500 nod sati GPU resursa (8x64GB) na Leonardo Buster HPC sistemu, u trajanju od 12 mjeseci.

HPC/AI Radionica i Studentska Konferencija

U subotu, 21. decembra, na Univerzitetu Donja Gorica biće održana HPC/AI radionica i studentska konferencija, na kojoj će učesnici projekata AIFusion i HPC4S3ME predstaviti svoje rezultate.

HPC/AI Workshop and student conference are organized in context of HPC4S3ME and AI Fusion projects

Događaj će obuhvatiti:

  • Prezentaciju ključnih rezultata i dostignuća oba projekta,
  • Predstavljanje NCC Crna Gora i EuroCC2/EuroCC4SEE inicijativa,
  • Prezentaciju studentskih projekata,
  • Panel diskusiju,
  • Koktel i umrežavanje.

Lokacija: AP amfiteatar, Univerzitet Donja Gorica
Vrijeme: 10:00 – 16:00

Kompletna Agenda:

Nakon zvaničnog dijela programa, druženje se nastavlja uz koktel.
Pridružite nam se da zajedno proslavimo postignute rezultate i razmijenimo ideje u oblasti HPC-a i vještačke inteligencije.

Industrijska radionica sa ICT Cortex: „Prilike za industrijske lidere u oblasti superračunarstva“

NCC Crna Gora suorganizuje radionice fokusirane na industriju i događaje za umrežavanje s ciljem da inspiriše inovativne kompanije, mala i srednja preduzeća i startapove da nauče kako da unaprijede svoje poslovne procese i ubrzaju inovacije uz pomoć mogućnosti superračunarstva HPC/AI. Stručnjaci NCC-a pružaju tehničku ekspertizu u oblasti HPC-a i vještačke inteligencije, kao i pristup infrastrukturi, prilagođen poslovnom okruženju i industrijskim domenima.

U saradnji sa ICT Cortex-om (ICT Klaster za informacione tehnologije, inovacije, obrazovanje, dizajn i tehnološki razvoj u Crnoj Gori) – koji okuplja više od 40 osnivača i 1800 IT stručnjaka – NCC Crna Gora organizuje radionicu „Prilike za industrijske lidere u oblasti superračunarstva“ 18. decembra, sa ciljem predstavljanja HPC/AI sistema i benefita, usluga i aktivnosti NCC-a, kao i prilika koje nudi EuroHPC infrastruktura.

ICT sektor Crne Gore prepoznat je kao katalizator razvoja inovativne ekonomije i jačanja konkurentnosti i više industrijskih grana. ICT industrija je jedan od najbrže rastućih sektora u Crnoj Gori, sa prihodom većim od 600 miliona eura u 2022. godini (u odnosu na 124 miliona u 2012), dostigavši skoro 10% BDP-a (u odnosu na 4% u 2012) i 21% ukupnog izvoza zemlje (u odnosu na 3% u 2017), prema analizama ICT Cortex-a / CEED Consulting-a.

Vjerujemo da će ova radionica povećati svijest o mogućnostima HPC-a i AI-a, pružiti vrijedne uvide i inspirativne primjere upotrebe članovima i partnerima ICT Cortex-a, omogućavajući im da otkriju snagu superračunarstva za unapređenje svog inovativnog poslovanja i konkurentnosti industrije.

Posjeta EUROCC2/EuroCC4SEE tima kompaniji Čikom

U okviru aktivnosti povezivanja NCC Crne Gore sa industrijom i njihovog većeg angažovanja u korišćenju HPC resursa u poslovanju, tim EuroCC2/EuroCC4SEE projekta sa Univerziteta Crne Gore (prof. dr Božo Krstajić i prof. dr Enis Kočan), posjetili su 13. decembra 2024. godine kompaniju Čikom, koja predstavlja jednu od najvećih IT kompanija u Crnoj Gori. Ispred kompanije Čikom su prisustvovali Ivan Bošković, koji je ujedno izvršni direktor ćerke kompanije IT Advanced Services (ITAS), Radovan Rutešić (IT projektant), Anđela Bojović (software developer) i Đorđe Krstajić (implementator).

Predstavnici kompanije Čikom upoznati sa aktivnostima NCC Montenegro

Na sastanku su predstavnicima Čikom kompanije predstavljeni servisi i aktivnosti NCC Crna Gora u okviru EuroCC2/EuroCC4SEE projekta. Razmotreni su aktuelni kaoi planirani projekti koji se realizuju u okviru Čikom kompanije, da bi utvrdili eventualne potrebe za korišćenjem HPC resursa. Za ITAS kompaniju je ova mogućnost bila posebno interesantna, jer će imati potrebu za HPC resursima u cilju realizacije projekta „AI sistem za patološku analizu adenokarcinoma (PathAI)“, koji finsnsira Fond za inovacije Crne Gore, a čija realizacija treba da započne u februaru 2025. godine. Projekat ima za cilj razvoj naprednog AI sistema za patološku analizu adenokarcinoma. Očekuje se da će ovaj inovativni sistem značajno poboljšati tačnost i efikasnost patološke analize, čime se smanjuje opterećenje patologa i poboljšavaju ishodi liječenja pacijenata. U okviru projekta će postojati potreba za obradu velikog broja medicinskih slika visoke rezolucije, za šta će im korišćenje HPC resursa znatno olakšati posao. Dogovoreno je da nakon starta projekta, NCC tim ponovo posjeti Čikom/ITAS kompaniju i detaljno predstavi proces aplikacije za HPC resurse.

Dogovoren je naredni sastanak na temu aplikacija za HPC resurse

Inicijalna konsultacija sa FiveG

Tim EuroCC2 projekta UCG (Enis Kočan i Božo Krstajić) je, u sklopu aktivnosti servisa i interakcije sa industrijom, održao sastanak sa manadžmentom i zaposlenima iz vrha tehničkog vodjstva FiveG grupe i NeurobotX kompanije koja se bavi primjenom AI i VR u industriji gaminga i razvijanju simulacionih nautičkih modela za svrhe obuke (Ivan Šoć, CEO FiveG grupe; Aleksa Čović, NeurobotX i Marko Šćepanović NeurobotX), 11.11.2024. godine u njihovim prostorijama.

Sastali smo se sa FiveG 11. novembra

Nakon prezentacije servisa koje NCC Crne Gore može pružiti kompanijama u okviru projekta EuroCC2, zajednički su analizirani  aktuelni projekti FiveG kompanije, sa aspekta potencijalne implementacije istih na HPC resursima. Nakon opsežne analize, identifikovana su najmanje 2 projekta koji bi imali značajno unapređenje, ako bi se realizovali na HPC resursima. Dogovorene su aktivnosti na budućoj saradnji u pravcu pripreme identifikovanih projekata za implementaciju u HPC okruženju i njihovom učešću na predstojećoj Konferenciji na kojoj će biti poseban dogadjaj za kompanije koje preferiraju korišćenje HPC resursa putem HPC NCC Crne Gore.

Dogovoreno je u;e[‘e na IT2025 konferenciji i nastavak saradnje

Nova obuka: Inženjerstvo upita (Prompt Engineering)

Opis kursa: Inženjerstvo upita

Tokom jeseni 2024. godine, tim NCC-a na Univerzitetu Donja Gorica (UDG) razvio je novu obuku usmjerenu na upotrebu generativne vještačke inteligencije, sa posebnim fokusom na primjenu velikih jezičkih modela (LLM) u stvarnim situacijama i digitalnoj transformaciji. Obuka je razvijena na osnovu komunikacije sa studentima i predstavnicima industrije. Početna prijava u novembru obuhvatila je više od 40 studenata, od kojih se većina očekuje da završi obuku do 20. decembra.

Proučavanje inženjeringa upita predstavlja osnovnu tehniku za efikasnu interakciju sa naprednim jezičkim modelima kao što su GPT-4, LLama i drugi. Ovaj kurs omogućava studentima da steknu znanja i vještine neophodne za korišćenje transformativnog potencijala AI tehnologija, sa naglaskom na inovativne, odgovorne i industrijski relevantne primjene. U eri digitalne transformacije, gdje donošenje odluka u realnom vremenu i inteligentna automatizacija oblikuju industrije, potreba za računarskim sistemima visokih performansi (HPC) postaje ključna. Kroz proučavanje naprednih modela za obradu prirodnog jezika (NLP), studenti će ne samo razviti efikasne tehnike ispitivanja (prompting), već i razumjeti računske zahtjeve i infrastrukturu potrebnu za implementaciju ovih rješenja u velikom obimu.

Unlocking the Power of AI: The Role of High-Performance Computing in Real-Life LLM Applications and Digital Transformation

Kako veliki jezički modeli postaju sve sofisticiraniji, njihovi računski zahtjevi eksponencijalno rastu. Aplikacije poput interakcije sa korisnicima u realnom vremenu, prediktivne analitike i podrške u donošenju odluka u oblastima kao što su zdravstvo i obrazovanje, zahtijevaju HPC infrastrukturu kako bi se osigurali performanse i skalabilnost. Ovaj kurs spaja teorijsko znanje i praktičnu primjenu, pokazujući kako HPC omogućava implementaciju robusnih AI rješenja i podstiče inovacije u digitalnom dobu. Bilo da se pripremate za vođenje AI projekata u akademskom ili industrijskom okruženju, ovaj kurs vam pruža osnovna znanja za odgovornu i efikasnu primjenu AI tehnologija, pozicionirajući vas na čelo digitalne transformacije.

Pregled sadržaja kursa (12 modula):

  1. Uvod u inženjering upita – Osnovni principi, značaj i primjene strukturiranja upita.
  2. Razumijevanje AI modela – Pregled načina na koji jezički modeli obrađuju ulaze i generišu odgovore.
  3. Kontekstualna važnost – Strategije za definisanje i pružanje konteksta za optimalne AI performanse.
  4. Kreiranje efikasnih upita – Tehnike za strukturiranje, kontrolu tona i prilagođavanje stila.
  5. Napredne tehnike upita – Višekoračni upiti, integracija varijabli i zadaci specifični za scenarije.
  6. Eksperimentisanje i iterativno poboljšanje – Testiranje, analiza i usavršavanje upita za bolje rezultate.
  7. Industrijske primjene – Praktični primjeri iz medicine, obrazovanja, marketinga i prava.
  8. Integrativne tehnike – Kombinovanje “chain-of-thought” i meta-upita za veću prilagodljivost.
  9. Etika u inženjeringu upita – Suočavanje sa pristrasnošću, prevencija zloupotrebe i etički standardi.
  10. Tehničke osnove NLP-a i transformera – Ključni principi NLP-a i mehanika transformera sa fokusom na HPC za skaliranje AI rješenja.
  11. Primjene LLM-ova u stvarnom svijetu, digitalna transformacija i potreba za računarstvom.
  12. Uvod u HPC i razmatranja za njegovu primjenu.

Ishodi učenja

Po završetku ovog kursa, studenti će biti sposobni da:

  • Dizajniraju i strukturiraju efikasne upite prilagođene različitim zadacima.
  • Primijene napredne tehnike kao što su “chain-of-thought” i meta-prompting u složenim scenarijima.
  • Procjenjuju i optimizuju odgovore AI modela kroz iterativne petlje povratnih informacija.
  • Prilagode upite specifičnim industrijskim potrebama uz poštovanje etičkih standarda.
  • Razumiju tehničke aspekte NLP modela zasnovanih na transformerima.
  • Povežu LLM-ove i digitalnu transformaciju sa potrebom za računarskim resursima za stvarne aplikacije.