Optimizacija AI modela za primjenu na IoT uređajima ograničenih resursa
Ovaj proof of concept istražuje kako se kvantizacijom modela mogu dobiti manji i brži modeli računarske vizije, uz očuvanje kvaliteta predikcije. Kao praktičan scenario odabrana je klasifikacija bolesti listova vinove loze, što predstavlja relevantan primjer primjene u pametnoj poljoprivredi, gdje se analiza slika može obavljati direktno na terenu.
Istraživanje je realizovao Žarko Peruničić u okviru svog master rada na Univerzitetu Donja Gorica. Rad je nastao u širem obrazovnom i mentorskom okruženju Master programa vještačke inteligencije, razvijenog uz podršku EuroCC / NCC Montenegro, uz mentorsku ekspertizu UDG i NCC Montenegro.
IZAZOV
Edge AI približava vještačku inteligenciju samom izvoru podataka i omogućava lokalno donošenje odluka uz nižu latenciju i manju zavisnost od cloud infrastrukture. Međutim, primjena savremenih AI modela na IoT i edge uređajima predstavlja izazov zbog ograničene procesorske snage, memorije i energetskih resursa.
RJEŠENJE
Kao referentna arhitektura korišćen je MobileNetV2 model računarske vizije, koji je zatim optimizovan za edge primjenu korišćenjem TensorFlow Lite okruženja. Pripremljeno je i evaluirano više varijanti modela: FP16 post-training quantization, dinamička INT8 kvantizacija, puna INT8 post-training kvantizacija i INT8 model dobijen primjenom quantization-aware training (QAT) pristupa.
Evaluacija je obuhvatila više parametara značajnih za praktičnu Edge AI primjenu: veličinu modela, latenciju inferencije, stabilnost izvršavanja, maksimalnu potrošnju procesne memorije i tačnost klasifikacije. Benchmark je namjerno sproveden u kontrolisanim CPU uslovima kako bi se približno simulirao scenario rada na uređajima sa ograničenim resursima.
Rezultati su pokazali da kvantizacija može značajno smanjiti veličinu modela i poboljšati efikasnost inferencije, ali i da različiti pristupi kvantizaciji ne daju nužno jednako dobre rezultate.
Na zahtjevnijem skupu podataka, koji bolje predstavlja terenske uslove, bazni FP32 TensorFlow Lite model imao je veličinu od 8,47 MB, medijanu latencije od 3,67 ms i tačnost od 89,44%. QAT INT8 varijanta smanjila je veličinu modela na 2,59 MB, ostvarila medijanu latencije od 2,93 ms i postigla 90,00% tačnosti. Puna INT8 post-training kvantizacija dala je model slične veličine i najnižu medijanu latencije od 2,91 ms.
Važan rezultat istraživanja je i pokazatelj da manji model nije automatski i brži model. Dinamička INT8 varijanta smanjila je veličinu modela na 2,39 MB, ali je na korišćenoj platformi imala znatno veću latenciju. To pokazuje da optimizaciju modela treba testirati u konkretnom izvršnom okruženju, umjesto pretpostaviti da će niža numerička preciznost uvijek donijeti bolje performanse.
Ključni zaključak je da ne postoji univerzalno najbolja strategija kvantizacije. Optimalna konfiguracija zavisi od karakteristika modela, podataka, načina kalibracije i ciljane platforme. Zbog toga izbor pristupa treba potvrditi eksperimentalno za konkretan scenario primjene.
BENEFITI
- Manji AI modeli: INT8 kvantizacija smanjila je MobileNetV2 model sa 8,47 MB na približno 2,6 MB.
- Brža inferencija: pune INT8 i QAT INT8 varijante ostvarile su nižu latenciju u odnosu na bazni FP32 model.
- Očuvan kvalitet predikcije: QAT INT8 model postigao je 90,0% tačnosti na zahtjevnijem skupu podataka, što je u ovom eksperimentu bilo neznatno bolje od bazne FP32 varijante.
- Manja zavisnost od cloud infrastrukture: efikasniji modeli predstavljaju osnovu za obradu slika bliže mjestu nastanka podataka.
- Praktična primjena u pametnoj poljoprivredi: pristup je relevantan za buduće sisteme za terensko praćenje usjeva u uslovima ograničenih računarskih resursa i konektivnosti.
- Prenosiva Edge AI metodologija: istraživanje pokazuje da optimizaciju treba posmatrati kroz balans tačnosti, latencije, veličine modela i karakteristika izvršnog okruženja.
Istraživanje se uklapa u širi kontekst razvoja AI, IoT i naprednih računarskih kompetencija kroz aktivnosti NCC Montenegro, pokazujući kako se znanja stečena kroz akademske i mentorsko-istraživačke aktivnosti mogu primijeniti na konkretne probleme implementacije AI sistema.