PROBLEM
Uhura Solutions razvija AI platformu za automatizaciju procesa vođenih dokumentima u finansijskim uslugama. Projekat „Generative AI Intelligent Process Automation Platform – GAIPAP“ je transformativna inicijativa koja ima za cilj revoluciju u finansijskoj industriji kroz integraciju naprednih rješenja za automatizaciju vođenih vještačkom inteligencijom koja kombinuju mogućnosti LLM modela, low code razvoja i automatizaciju procesa. Ova tehnologija ima potencijal da značajno poboljša operativnu efikasnost, smanjenje troškova i korisničko iskustvo u finansijskom sektoru.
Platforma uključuje fino podešene LLM modela, što je izdvaja od generičkih AI rješenja. Ovi LLM, rafinirani za jedinstven jezik, sadržaj i obrasce finansijske industrije, obećavaju da će pružiti preciznije i relevantnije uvide. Ponuda platforme dodatno je osnažena njenom sposobnošću da pojednostavi radne tokove, ponudi skalabilnost, uvid u podatke u stvarnom vremenu i poboljša korisničko iskustvo. Integracija razvojnog okvira sa low code-om i automatizacijom procesa omogućava brzu izradu prototipa i primenu modela vođenih vještačkom inteligencijom, čime se ubrzava vrijeme do puštanja na tržište i efikasno iskorištavaju prilike na tržištu.
RJEŠENJE
Projekat uključuje korištenje Python biblioteka i unaprijed obučenih modela velikih jezika koji su fino podešeni na prilagođenom privatnom skupu podataka koji je kreirao tim, omogućavajući specijalizirane zadatke unutar finansijskog sektora. Leonardo superkompjuter je omogućio da se napravi unapređenje u eksperimentima GPU treniranja sa 1B na 7B i više modela velikih jezika. Fokusirani smo na različite metode LLM istraživanja i optimizacije u ovoj fazi projekta, koje uključuju podešavanje hiperparametara, kvantizaciju modela i skraćivanje, te fino podešavanje efikasnog parametara (PEFT). Posebna pažnja se posvećuje prethodnoj obradi skupa podataka uključujući kvalitetno filtriranje, deduplikaciju i redigovanje privatnosti.
PREDNOSTI
- Kroz integraciju fino podešenih LLM-a sa procesima automatizacije niskog koda, platforma pojednostavljuje složene procese vođene dokumentima u finansijskom sektoru, značajno smanjujući ručno podešavanje i operativne troškove.
- Prilagođeno obučeni LLM-i na skupovima podataka specifičnim za domen omogućavaju preciznije i kontekstualno svjesne uvide, poboljšavajući donošenje odluka i usklađenost sa propisima u finansijskim uslugama.
- Iskorištavanje HPC resursa za obuku i optimizaciju velikih modela omogućava brzu izradu prototipa i implementaciju AI rješenja, pomažući finansijskim institucijama da brzo odgovore na zahtjeve tržišta.
Ovaj projekat je nagrađen sa 4.500 node sati GPU resursa (8x64GB) na Leonardo Booster HPC-u u trajanju od 12 mjeseci. NCC Montenegro je pomogao Uhuri u apliciranju i dobijanju resursa za Leonardo HPC.