Microsoft je pokrenuo prošireni program za nagrađivanje grešaka koji nudi nagrade do 30.000 dolara za istraživače koji identifikuju kritične ranjivosti u AI sistemima u okviru svojih proizvoda Dynamics 365 i Power Platform.
Inicijativa, koju je najavio Microsoft Security Response, ima za cilj jačanje sigurnosti u poslovnoj AI podsticanjem etičkih hakera da otkriju potencijalne slabosti prije nego što ih maliciozni hakeri iskoriste.
Okvir za klasifikaciju sigurnosti AI
Program koristi Microsoft-ovu novorazvijenu klasifikaciju ozbiljnosti ranjivosti za AI sisteme, koja kategorizuje sigurnosne rizike specifične za vještačku inteligenciju u tri primarne vrste ranjivosti:
Ova kategorija se bavi ranjivostima koje bi se mogle iskoristiti za manipulisanje odgovorom modela na pojedinačne zahtjeve zaključivanja bez modifikacije samog modela. Ključne vrste ranjivosti uključuju:
Prompt Injection: Napadi gdje ubrizgane instrukcije uzrokuju da model generiše nenamjeran izlaz, potencijalno omogućavajući napadačima da eksfiltriraju korisničke podatke ili izvrše privilegirane radnje.
Promptne injekcije kritične ozbiljnosti koje ne zahtijevaju interakciju korisnika mogu zaraditi najveće nagrade.
Input Perturbation: Ranjivosti u kojima napadači ometaju važeće ulaze da bi proizveli netačne izlaze, također poznate kao izbjegavanje modela ili suprotstavljeni primjeri.
Manipulacija modelom
Ove ranjivosti ciljaju na fazu obuke AI sistema, uključujući:
Trovanje modela: Napadi u kojima se mijenja arhitektura modela, kod za obuku, hiperparametri ili podaci o obuci.
Trovanje podacima: Kada napadači dodaju zatrovane zapise podataka u skupove podataka koji se koriste za obuku ili fino podešavanje modela, potencijalno uvodeći backdoor koji se može pokrenuti određenim ulazima.
Otkrivanje inferencijalnih informacija
Ova kategorija obuhvata ranjivosti koje bi mogle otkriti osjetljive informacije o podacima o obuci, arhitekturi ili težinama modela:
- Zaključak o članstvu: Sposobnost da se utvrdi da li su specifični zapisi podataka bili dio podataka o obuci modela.
- Zaključivanje atributa: Tehnike zaključivanja osjetljivih atributa zapisa koji se koriste u obuci.
- Rekonstrukcija podataka o obuci: Metode za rekonstrukciju pojedinačnih zapisa podataka iz skupa podataka za obuku.
- Krađa modela: Napadi koji omogućavaju stvaranje funkcionalno ekvivalentnih kopija ciljnih modela koristeći samo odgovore zaključivanja.
Struktura nagrade i podobnost
Bounty nagrade se kreću od 500 do 30.000 dolara, a najveće nagrade rezervisane su za ranjivosti kritične ozbiljnosti praćene visokokvalitetnim izvještajima.
Program posebno cilja AI integracije u PowerApps, aplikacije vođene modelom, Dataverse, AI Builder i Microsoft Copilot Studio.
Sistem klasifikacije ozbiljnosti uzima u obzir i tip ranjivosti i uticaj na bezbjednost, sa najvišim nagradama za ranjivosti koje bi mogle dozvoliti napadačima da eksfiltriraju podatke drugog korisnika ili izvrše privilegovane radnje bez interakcije korisnika.
Istraživači sigurnosti zainteresovani za sudjelovanje mogu započeti prijavom za besplatne probne verzije Dynamics 365 ili Power Platform usluga.
Microsoft obezbeđuje detaljnu dokumentaciju za svaki proizvod kako bi pomogao istraživačima da razumiju sisteme koje testiraju.
Microsoftov Security Response tim najavio je : “Vaše istraživanje bi nam moglo pomoći da ojačamo sigurnost AI u preduzeću.”
Program je dio Microsoftove šire sigurnosne inicijative, koja uključuje programe za različite Microsoftove proizvode i usluge.
Sve prijave se provjeravaju radi ispunjavanja uslova za nagradu, a istraživači su priznati čak i kada se ne kvalifikuju za novčanu nagradu, ali vode ka poboljšanju sigurnosti.
Kroz ovu inicijativu, Microsoft nastavlja da naglašava kolaborativne sigurnosne napore dok se integracija AI produbljuje u svim svojim poslovnim rješenjima.
Izvor: CyberSecurityNews