Nova tehnika pod nazivom “Echo Chamber jailbreak” uspijeva da prevari velike jezičke modele (LLM) poput onih koje koriste OpenAI i Google, navodeći ih da generišu štetan sadržaj. Ovaj metod uspješno zaobilazi sigurnosne mehanizme koji su dizajnirani da spriječe takvu zloupotrebu.
Ova otkrića potiču od istraživanja objavljenog na mreži X, gdje su stručnjaci za sigurnost objasnili kako ova sofisticirana tehnika funkcioniše. Upozorenje se fokusira na to kako napadači iskorištavaju “krugove povratne informacije” unutar LLM-ova kako bi ih naveli da generišu neželjeni ili opasan materijal.
Metodologija ovog napada, pojednostavljeno rečeno, uključuje kreiranje specifičnih promptova koji navode model da uđe u svojevrsni “jezički lavirint”. Unutar tog lavirinta, model je primoran da ponavlja i pojačava određene informacije ili stavove, čak i ako su oni štetni ili netačni. Prevaranti na ovaj način “mame” korisnike tako što im nude naizgled bezopasne interakcije koje, međutim, postepeno vode ka generisanju neprikladnog sadržaja, često kamufliranog unutar fikcijskih diskusija ili teorija.
Iako konkretni detalji o pojedinačnim incidentima nisu navedeni, princip je da se stvori situacija u kojoj model, pokušavajući da odgovori na složene i dvosmislene upite, biva naveden da generiše materijal koji inače ne bi. Ovo bi moglo uključivati širenje dezinformacija, generisanje diskriminatornog jezika ili čak pomaganje u kreiranju zlonamjernog koda, ako se model iskoristi na odgovarajući način. Cilj prevaranata je da iskoriste ranjivosti u obuci i dizajnu ovih moćnih alata kako bi postigli svoje ciljeve, dok istovremeno održavaju privid legitimnosti.
