Tim istraživača razvio je novi model vještačke inteligencije, nazvan White-Basilisk, koji efikasnije detektuje softverske ranjivosti od mnogo većih sistema. Objavljivanje modela dolazi u vrijeme kada se programeri i sigurnosni timovi suočavaju sa sve većim pritiskom da osiguraju složene kodne baze, često bez resursa za implementaciju velikih alata vještačka inteligencije.
Kompaktni model s odličnim rezultatima
Za razliku od LLM-ova, koji mogu zahtijevati milijarde parametara i veliku računarsku snagu, White-Basilisk je kompaktan, sa samo 200 miliona parametara. Ipak, nadmašuje modele više od 30 puta svoje veličine na više javnih testova za otkrivanje ranjivosti. Ovo dovodi u pitanje ideju da su veći modeli uvijek bolji, barem za specijalizirane sigurnosne zadatke.
White-Basilisk-ov dizajn fokusira se na analizu koda na duge staze. Ranjivosti u stvarnom svijetu često obuhvataju više datoteka ili funkcija. Mnogi postojeći modeli imaju problema s ovim jer su ograničeni količinom konteksta koju mogu obraditi odjednom. Nasuprot tome, White-Basilisk može analizirati sekvence dužine do 128.000 tokena. To je dovoljno za procjenu cijelih baza koda u jednom prolazu.
„Osnovni izazov s kojim smo se suočili proizlazi iz fundamentalnog ograničenja u načinu na koji modeli vještačke inteligencije obrađuju kod“, rekao je Ioannis Lamprou , glavni istraživač, za Help Net Security. „Većina ranjivosti ne postoji izolirano. Često obuhvataju više funkcija ili čak cijele datoteke. Međutim, tradicionalni modeli vještačke inteligencije zasnovani na transformatorima imaju ono što nazivamo ‘kvadratnom složenošću’, što znači da njihovi računski zahtjevi rastu eksponencijalno kako se povećava dužina koda. To ih čini nepraktičnim za analizu velikih, stvarnih baza koda.“
Napravljeno za efikasnost i kontekst
Da bi prevazišli ta ograničenja, tim je kreirao hibridnu arhitekturu izgrađenu oko tri komponente. Mamba slojevi obrađuju lokalne obrasce koda. Prilagođeni linearni mehanizam pažnje održava globalni kontekst. Sistem mješavine stručnjaka usmjerava ulazne podatke u različite dijelove modela ovisno o zadatku.
„Iako su prethodna istraživanja istraživala rješenja za ovaj problem složenosti, nijedno nije uspješno primijenilo ove tehnike na složeni zadatak poput otkrivanja ranjivosti“, rekao je Lamprou. „Naš proboj bio je razvoj hibridne arhitekture koja postiže linearnu složenost. Računarski zahtjevi rastu proporcionalno, a ne eksponencijalno s dužinom koda.“
Linearni mehanizam pažnje modela omogućava mu da obrađuje duge sekvence bez dostizanja ograničenja memorije, čak i na skromnom hardveru. „Rezultat je model sa 200 miliona parametara koji može obraditi sekvence do 128.000 tokena (u radu je dokazano da teoretski može dostići preko milion tokena), a istovremeno nadmašuje mnogo veće modele koji koriste tradicionalne kvadratne mehanizme pažnje“, dodao je.
Zelenija vještačke inteligencija za sigurnosne poslove
White-Basilisk je takođe energetski efikasan. Zbog svoje male veličine i aerodinamičnog dizajna, može se trenirati i voziti koristeći daleko manje energije od većih modela. Istraživački tim procjenjuje da je trening proizveo samo 85,5 kilograma CO₂. To je otprilike isto kao vožnja automobila na benzin nekoliko stotina kilometara. Neki veliki modeli emituju nekoliko tona CO₂ tokom treninga.
Ova efikasnost se primjenjuje i tokom izvođenja programa. White-Basilisk može analizirati kodne baze pune dužine na jednom vrhunskom GPU-u bez potrebe za distribuiranom infrastrukturom. To bi ga moglo učiniti praktičnijim za male sigurnosne timove, istraživače i kompanije bez velikih budžeta za oblak.
Slučajevi upotrebe iz stvarnog svijeta već su na umu
Istraživači kažu da bi se White-Basilisk mogao lako uklopiti u trenutne razvojne i sigurnosne tokove rada .
„Zamišljamo da White-Basilisk-ova efikasnost omogućava implementaciju u više scenarija“, rekao je Lamprou. „To uključuje VSCode ekstenziju koja se pokreće lokalno na mašinama programera, pružajući prijedloge za ranjivosti u realnom vremenu dok kodiraju. Nije potrebna povezivost s oblakom ili moćan hardver. Također bi se mogla integrirati u CI/CD cjevovode, provjeravajući probleme pri svakom commitu. I mogla bi se pokretati u zatvorenim okruženjima poput IoT-a ili sistema s odvojenim resursima gdje su resursi ograničeni, ali je sigurnost ključna.“
Umjesto zamjene postojećih alata, on vidi model kao komplementarni sloj koji donosi dublju, dugoročniju analizu. „White-Basilisk može podnijeti složenost i obim modernih kodnih baza, a istovremeno se uklopiti u ustaljene prakse“, rekao je.
Još uvijek rad u toku
Model ima ograničenja. Obučen je samo na C i C++ kodu, tako da njegove performanse na drugim jezicima nisu dokazane. Otkrivanje potpuno novih ili izuzetno rijetkih grešaka ostaje izazov. Odluke modela također još uvijek nisu lako objasniti, što može biti važno u produkcijskom ili reguliranom okruženju.
Tim radi na proširenju jezičke podrške, poboljšanju transparentnosti i istraživanju novih domena u kojima je dugoročna analiza korisna. „Ovo istraživanje se trenutno razmatra na vrhunskoj konferenciji o umjetnoj inteligenciji i predstavlja značajan korak naprijed u tome da napredni sigurnosni alati zasnovani na umjetnoj inteligenciji budu pristupačniji i praktičniji za primjenu u stvarnom svijetu“, rekao je Lamprou.
Izvor:The Hacker News
