Sada zakrpljena sigurnosna ranjivost u OpenAI-ovoj aplikaciji ChatGPT za macOS mogla je omogućiti napadačima da stave dugotrajni trajni špijunski softver u memoriju alata za vjestačku inteligenciju(AI).
Tehnika, nazvana SpaIware , mogla bi se zloupotrebiti kako bi se olakšalo “kontinuirano eksfiltracija podataka bilo koje informacije koje je korisnik unio ili odgovore koje je primio ChatGPT, uključujući sve buduće sesije ćaskanja”, rekao je istraživač sigurnosti Johann Rehberger .
Problem, u svojoj srži, zloupotrebljava funkciju pod nazivom memorija , koju je OpenAI uveo ranije ovog februara prije nego što je uveden na ChatGPT Free, Plus, Team i Enterprise korisnike početkom mjeseca.
Ono što on čini je da u suštini omogućava ChatGPT-u da zapamti određene stvari u razgovorima, tako da korisnicima štedi trud da ponavljaju iste informacije iznova i iznova. Korisnici također imaju mogućnost da upute programu da nešto zaboravi.
“Sjećanja ChatGPT-a evoluiraju s vašim interakcijama i nisu povezana s određenim razgovorima”, kaže OpenAI. “Brisanjem ćaskanja se ne brišu njegova sjećanja; morate izbrisati samu memoriju.”
Tehnika napada se takođe temelji na prethodnim nalazima koji uključuju korištenje indirektne brze injekcije za manipulaciju uspomenama kako bi se zapamtile lažne informacije, ili čak maliciozne upute, čime se postiže oblik postojanosti koji opstaje između razgovora.
“Budući da su maliciozne instrukcije pohranjene u memoriji ChatGPT-a, svi novi razgovori koji slijede sadržavat će instrukcije napadača i kontinuirano slati sve poruke razgovora i odgovore u razgovoru napadaču”, rekao je Rehberger.
“Dakle, ranjivost eksfiltracije podataka postala je mnogo opasnija jer se sada pojavljuje u razgovorima za ćaskanje.”
U hipotetičkom scenariju napada, korisnik bi mogao biti prevaren da posjeti malicioznu stranicu ili preuzme dokument zarobljeni u mina koji se naknadno analizira pomoću ChatGPT-a za ažuriranje memorije.
Web stranica ili dokument mogu sadržavati upute za tajno slanje svih budućih razgovora na server koji kontrolira protivnik u budućnosti, koje napadač na drugom kraju može preuzeti nakon jedne sesije ćaskanja.
Nakon odgovornog otkrivanja, OpenAI je riješio problem sa ChatGPT verzijom 1.2024.247 zatvaranjem vektora eksfiltracije.
“Korisnici ChatGPT-a bi trebali redovno pregledavati uspomene koje sistem pohranjuje o njima, da li postoje sumnjive ili netačne i da ih čiste”, rekao je Rehberger.
“Ovaj lanac napada bilo je prilično zanimljivo sastaviti i demonstrira opasnost od automatskog dodavanja dugoročne memorije u sistem, kako sa stanovišta dezinformacija/prevare, tako iu pogledu kontinuirane komunikacije sa serverima pod kontrolom napadača.”
Otkrivanje dolazi kada je grupa akademika otkrila novu tehniku AI jailbreaking-a kodnog naziva MathPrompt koja koristi napredne mogućnosti modela velikih jezika (LLM) u simboličkoj matematici kako bi zaobišla njihove sigurnosne mehanizme.
“MathPrompt koristi proces u dva koraka: prvo transformira štetne upute prirodnog jezika u simboličke matematičke probleme, a zatim predstavlja ove matematički kodirane upute ciljnom LLM-u”, istakli su istraživači .
Studija, nakon testiranja na 13 najsavremenijih LLM-ova, otkrila je da modeli u prosjeku reaguju sa štetnim izlazom u 73,6% vremena kada su predstavljeni matematički kodiranim upitima, za razliku od otprilike 1% sa neizmijenjenim štetnim upitima.
Takođe prati Microsoftov debi nove mogućnosti korekcije koja, kao što naziv implicira, omogućava korekciju AI izlaza kada se otkriju nepreciznosti (tj. halucinacije) .
„Na osnovu naše postojeće funkcije detekcije prizemljenosti, ova revolucionarna sposobnost omogućava Azure AI Content Safety da identifikuje i ispravi halucinacije u realnom vremenu pre nego što ih korisnici generativnih AI aplikacija sretnu“, rekao je tehnički gigant .
Izvor:The Hacker News