Istraživači su otkrili nove metode za prevaru AI asistenta i korišćenje u krađi osjetljivih podataka.
Nekoliko slabosti koje je Google nedavno zakrpio u svom Gemini asistentu mogle su omogućiti hakerima da iskoriste AI kako bi došli do krađe podataka i drugih malicioznih ciljeva. Ranjivosti su otkrili istraživači kompanije Tenable, koji su projekat nazvali „Gemini Trifecta“. Studija opisuje tri različite metode napada na Gemini koje su zloupotrebljavale njegove alate i funkcije, a pri tome nisu zahtijevale gotovo nikakav socijalni inženjering.
Prvi napad se oslanjao na indirektnu prompt injekciju i bio je usmjeren na Gemini Cloud Assist, alat koji korisnicima pomaže u upravljanju i optimizaciji cloud operacija. Napadači su iskoristili mogućnost Cloud Assist-a da analizira logove. Posebno kreiran zahtjev upućen ciljanoj organizaciji unosio je maliciozni prompt u log fajlove. Kada bi korisnik zatražio objašnjenje ili analizu logova, Gemini bi obradio ubačenu poruku i prikazao link do Google phishing stranice.
Tenable je otkrio više Google Cloud servisa koji su mogli biti pogođeni ovim tipom napada, uključujući Cloud Functions, Cloud Run, App Engine, Compute Engine, Cloud Endpoints, API Gateway i Load Balancing. „Jedan od posebno opasnih scenarija bio bi da napadač ubaci prompt kojim se Gemini navodi da pretraži sve javne resurse ili IAM pogrešne konfiguracije, a zatim kreira link koji sadrži te podatke“, objasnili su istraživači. „Pošto napad može biti neautentifikovan, hakeri bi mogli masovno gađati sve GCP servise dostupne javno, a ne samo pojedinačne mete.“
Druga metoda napada takođe je koristila indirektnu prompt injekciju, ali preko istorije pretrage. Istraživači su zloupotrijebili Search Personalization funkciju, koja omogućava Geminiju da daje prilagođene odgovore na osnovu konteksta i prethodnih aktivnosti korisnika. U ovom slučaju, napadač bi morao navesti žrtvu da posjeti sajt pod njegovom kontrolom, koji bi ubacio maliciozne upite u istoriju pretrage. Kasnije, kada bi korisnik koristio Gemini Search Personalization, AI bi izvršavao instrukcije napadača – uključujući prikupljanje osjetljivih podataka i njihovo iznošenje putem linka.
Treći napad u okviru „trifecte“ bio je usmjeren na Gemini Browsing Tool, koji omogućava AI-ju da razumije sadržaj web stranica i izvršava zadatke u kontekstu otvorenih tabova i istorije pretrage. Istraživači su uspjeli da zloupotrijebe njegovu funkciju za sažimanje sadržaja stranice kako bi kreirali bočni kanal za izvlačenje podataka. Gemini je natjeran da doda podatke korisnika u zahtjev poslat na server pod kontrolom napadača.
Kompanija Tenable je potvrdila da je Google zakrpio sve tri ranjivosti nakon što su obaviješteni. U proteklim sedmicama istraživači su pokazali više sličnih metoda napada usmjerenih na AI asistente i njihovu integraciju sa poslovnim alatima, što potvrđuje da je bezbjednost AI sistema sve značajnije polje sajber odbrane.
Izvor: SecurityWeek
