Istraživanje alternativnih arhitektura jezičkih modela uz podršku HPC
Jezički modeli koriste informacije iz prethodnog teksta kako bi predvidjeli šta slijedi. Način na koji se ove informacije pamte i ažuriraju predstavlja važno istraživačko pitanje u oblasti vještačke inteligencije, posebno u kontekstu razvoja alternativnih arhitektura jezičkih modela.
Ovaj projekat predstavlja dokaz koncepta (Proof of Concept – PoC) kroz istraživanje modela Transitor, koji je razvio Felix Koba. Model uči prelaze između internih reprezentacija teksta i održava kompaktno stanje zasnovano na matricama prelaza. Ove matrice koristi za predviđanje naredne reprezentacije, a zatim ih ažurira na osnovu novih informacija. Treniranje i evaluacija sprovedeni su korišćenjem računarskih resursa dostupnih kroz HPC Montenegro.
IZAZOV
Razvoj alternativnih arhitektura jezičkih modela zahtijeva istraživanje načina na koje se informacije mogu efikasno predstavljati, pamtiti i ažurirati tokom obrade teksta. Pored predlaganja novog mehanizma, potrebno je ispitati mogućnost treniranja modela u odgovarajućem obimu i uporediti njegove performanse sa postojećim pristupima.
Glavni izazov bio je evaluirati Transitorov mehanizam memorije zasnovan na matricama prelaza kroz treniranje na velikom skupu podataka i standardizovane testove za jezičke modele. Za to su bili potrebni značajni računarski resursi, kao i sistematska procjena prednosti i ograničenja predložene arhitekture.
RJEŠENJE
Transitor koristi više manjih memorijskih struktura za učenje prelaza, koje funkcionišu paralelno. Model prilagođava njihov doprinos i kombinuje njihove izlaze sa zasebnom reprezentacijom trenutnog teksta. Na taj način koristi informacije sačuvane u memoriji, zajedno sa informacijama dostupnim u trenutnom koraku obrade.
Model sa 12 slojeva i 398,8 miliona parametara treniran je od početka na 15 milijardi tokena iz skupa podataka FineWeb-Edu, korišćenjem grafičkog procesora NVIDIA L40.
Trenirani model evaluiran je na osam standardizovanih testova za jezičke modele. Njegove performanse upoređene su sa objavljenim rezultatima modela Transformer++, Mamba2, DeltaNet i Gated DeltaNet, pri sličnom obimu treniranja. Referentni rezultati preuzeti su iz istraživanja Titans (Tabela 6), koje obuhvata modele sa približno 400 miliona parametara, trenirane na 15 milijardi tokena.
REZULTATI
Transitor je ostvario rezultate bliske referentnim modelima na testovima PIQA, SocialIQA i BoolQ, dok je na drugim testovima, uključujući LAMBADA, HellaSwag i ARC, pokazao slabije performanse. Dobijeni rezultati omogućavaju početnu procjenu predložene arhitekture i ukazuju na oblasti u kojima su potrebna dalja unapređenja.
Slika prikazuje poredjenje rezultata modela Transitor sa objavljenim rezultatima modela Transformer++, Mamba2, DeltaNet i Gated DeltaNet. Izvori: evaluacija modela Transitor i Titans, Tabela 6 (400M/15B).
Trenirani model testiran je i kroz generisanje teksta. Sljedeći primjer ilustruje kako model nastavlja zadati početni tekst:
Početni tekst: High-performance computing (HPC) can help researchers in Montenegro by
Nastavak koji je generisao model:
High-performance computing (HPC) can help researchers in Montenegro by providing a full range of support services to help facilitate research and educational activities, including the development of new software tools and new hardware.
Generisani tekst prikazan je u originalnom obliku, bez naknadnih izmjena.
BENEFITI
- Pristup računarskim resursima HPC Montenegro omogućio je treniranje i evaluaciju alternativne arhitekture jezičkog modela u značajnom računarskom obimu.
- U okviru projekta razvijen je i treniran model sa 398,8 miliona parametara, korišćenjem 15 milijardi tokena za treniranje.
- Poređenje sa referentnim modelima pružilo je uvid u performanse predložene arhitekture u odnosu na postojeće pristupe.
- Eksperimenti su ukazali na prednosti i ograničenja modela, pružajući smjernice za dalja istraživanja i unapređenje arhitekture.
- Projekat pokazuje kako HPC infrastruktura može podržati računarski zahtjevna istraživanja u oblasti vještačke inteligencije i razvoj novih pristupa mašinskom učenju.
Ovaj dokaz koncepta ilustruje ulogu HPC Montenegro u podršci naprednim istraživanjima u oblasti vještačke inteligencije, omogućavajući istraživačima da razvijaju, treniraju i evaluiraju nove arhitekture modela korišćenjem računarskih resursa visokih performansi.