PROBLEM/IZAZOV
Prepoznavanje oblika iz djelomičnih 3D skeniranja je istraživački cilj koji dijele kompjuterska grafika i kompjuterski vid. U srži ovih istraživačkih izazova leži potreba da se 3D prikazima oblika pripiše semantičko značenje, i to u velikim razmjerima. Segmentacija 3D prikaza mehaničkih sklopova ima brojne industrijske primjene, posebno u scenarijima gdje je znanje o pojedinačnim mehaničkim dijelovima i njihovim prostornim odnosima korisno. To uključuje kontrolu kvalitete, obrnuti inženjering, kreiranje digitalnih blizanaca, dopunjavanje CAD modela metapodacima izvučenim iz segmentiranih skeniranja, obuku operatera za montažu i demontažu i generiranje digitalnih uputa korištenjem proširene stvarnosti.
Međutim, segmentacija mehaničkih sklopova predstavlja brojne izazove. Raznolikost mehaničkih dijelova smanjuje mogućnost generalizacije, jer su mnoge komponente dizajnirane po narudžbi i nevidljive u skupovima podataka za obuku. Pokretni dijelovi kompliciraju stvari pojavljujući se u različitim relativnim položajima ovisno o konfiguraciji, dok nekruti elementi poput kablova ili cijevi dodaju dodatnu varijabilnost. Osim toga, mehanički sklopovi često sadrže gusto zbijene komponente s minimalnim ili slabo vidljivim granicama, što otežava odvajanje dijelova. Čak i definicija onoga što predstavlja “dio” može ovisiti o kontekstu. Ova varijabilnost komplicira i kreiranje osnovnih podataka i evaluaciju modela, a da ne spominjemo složenost dizajniranja i obuke modela.
Krajnji cilj ovog istraživanja je segmentacija mehaničkih sklopova kao što su elektromotori, pumpe i mjenjači, a istovremeno osigurava da se modeli mogu generalizirati na nevidljive tipove sklopova.
RJEŠENJE
Zajedničkim naporom s industrijskim partnerom Cetim (Francuska) i akademskim partnerom IMT Mines Albi (Francuska), uspjeli smo kreirati model koji postiže visoke performanse u segmentaciji složenih mehaničkih sklopova iz 3D skeniranja, demonstrirajući i naučni i industrijski utjecaj ovog pristupa.
Zbog složenosti definiranja fiksnih pravila za identifikaciju mehaničkih dijelova u različitim sklopovima, metode zasnovane na pravilima nisu dovoljne. Stoga su za segmentaciju 3D oblaka tačaka odabrane tehnike dubokog učenja. Međutim, takvi modeli zahtijevaju velike količine anotiranih podataka da bi efikasno funkcionirali. Da bi se riješio ovaj problem, generirani su sintetički podaci za obuku korištenjem javno dostupnog ABC skupa podataka, koji sadrži više od milion industrijskih CAD modela. Prvobitno namijenjen za zadatke kao što su normalno predviđanje i procjena zakrivljenosti, skup podataka pokazao se vrlo vrijednim za segmentaciju. CAD modelna stabla su analizirana kako bi se izdvojili građevni blokovi, koji su tretirani kao pojedinačni mehanički dijelovi. Instance su ručno verificirane kako bi se izbjegle greške prekomjerne ili nedovoljne segmentacije. Da bi se aproksimirali stvarni uslovi skeniranja, primijenjen je simulirani proces, zadržavajući samo spolja vidljive komponente sklopova. Ovo je obezbijedilo podatke za obuku koji su blisko usklađeni sa onim što bi snimili stvarni 3D skeneri. Konačno, model segmentacije instanci dubokog učenja zasnovan na transformatoru je prethodno obučen na velikim količinama sintetičkih podataka, a zatim fino podešen na manjem skupu stvarnih 3D skeniranja. Da bismo postigli najbolje rezultate, dodatno smo uključili karakteristike izvučene iz 2D rendera mehaničkog sklopa. Ova dvostepena strategija obuke značajno je poboljšala performanse modela, balansirajući sintetičku obuku velikih razmjera sa adaptacijom u stvarnom svijetu.
BENEFITI
Integracija dubokog učenja, generisanja sintetičkih podataka, HPC-a i 3D skeniranja donijela je višestruke prednosti:
- Poboljšana tačnost detekcije pojedinačnih mehaničkih dijelova, čak i u gusto zbijenim sklopovima.
- Generalizacija na nevidljive sklopove, omogućavajući širu primjenjivost u industrijskim okruženjima.
- Značajno smanjenje napora ručne segmentacije, što je inženjerima uštedjelo vrijeme u reverznom inženjeringu i inspekciji.
- Obezbijeđena je podrška za nizvodne aplikacije, uključujući kreiranje digitalnih blizanaca, obuku operatera i automatizirano planiranje rastavljanja.
- Skalabilni i efikasni tokovi rada, podržani sintetičkim skupovima podataka, HPC resursima i prethodnom obukom, čineći pristup prilagodljivim stvarnim industrijskim zahtjevima.
- Izvodljivost eksperimenata unutar praktičnih vremenskih okvira, jer je HPC obezbijedio računarsku snagu potrebnu za obuku i evaluaciju modela na velikim skupovima podataka bez značajnih kašnjenja.