Principalele agenți AI, vulnerabili la preluare abuzivă, conform unui studiu

Unele dintre cele mai utilizate asistenți AI de la Microsoft, Google, OpenAI și Salesforce pot fi preluați de atacatori cu puțină sau fără interacțiune din partea utilizatorului, conform unui nou studiu realizat de Zenity Labs.

Prezentate la conferința de securitate cibernetică Black Hat USA, rezultatele arată că hackerii ar putea fura date, manipula fluxuri de lucru și chiar să se dea drept utilizatori. În unele cazuri, atacatorii ar putea obține „persistență în memorie”, permițându-le acces și control pe termen lung.

„Pot manipula instrucțiunile, pot otrăvi sursele de cunoștințe și pot modifica complet comportamentul agentului”, a declarat Greg Zemlin, manager de marketing al produselor la Zenity Labs, pentru Cybersecurity Dive. „Acest lucru deschide calea spre sabotaj, perturbări operaționale și dezinformare pe termen lung, mai ales în mediile în care agenților li se încredințează luarea sau sprijinirea deciziilor critice.”

Cercetătorii au demonstrat lanțuri de atac complete împotriva mai multor platforme majore de AI pentru întreprinderi. Într-un caz, ChatGPT al OpenAI a fost deturnat printr-o injecție de prompt bazată pe e-mail, permițând accesul la datele Google Drive conectate.

S-a descoperit că Microsoft Copilot Studio a scurs baze de date CRM, cu peste 3.000 de agenți vulnerabili identificați online. Platforma Einstein a Salesforce a fost manipulată pentru a redirecționa comunicările cu clienții către conturi de e-mail controlate de atacatori.

Între timp, Gemini de la Google și Microsoft 365 Copilot ar putea fi transformate în amenințări interne, capabile să fure conversații sensibile și să răspândească informații false.

În plus, cercetătorii au reușit să păcălească Inteligența Artificială Gemini de la Google în a controla dispozitivele inteligente din casă. Hackuirea a stins luminile, a deschis jaluzelele și a pornit un cazan fără comenzi din partea locatarilor.

Zenity a dezvăluit rezultatele cercetării sale, determinând unele companii să emită patch-uri de securitate. „Apreciem munca depusă de Zenity în identificarea și raportarea responsabilă a acestor tehnici”, a declarat un purtător de cuvânt al Microsoft pentru Cybersecurity Dive. Microsoft a afirmat că comportamentul raportat „nu mai este eficient” și că agenții Copilot au măsuri de protecție implementate.

OpenAI a confirmat că a reparat ChatGPT și că desfășoară un program de recompense pentru descoperirea bug-urilor. Salesforce a declarat că a rezolvat problema semnalată. Google a declarat că a implementat „apărări noi, stratificate” și a subliniat că „este crucial să avem o strategie de apărare stratificată împotriva atacurilor prin injectare de prompturi”, după cum a raportat Cybersecurity Dive.

Raportul evidențiază creșterea preocupărilor de securitate pe măsură ce agenții AI devin tot mai comuni în locurile de muncă și sunt încredințați cu gestionarea sarcinilor sensibile.

Într-o altă investigație recentă, s-a raportat că hackerii pot fura criptomonede de la agenții AI Web3, plasând amintiri false care suprascriu măsurile de protecție obișnuite.

Acest defect de securitate există în ElizaOS și platforme similare deoarece atacatorii pot folosi agenți compromiși pentru a transfera fonduri între diferite platforme. Caracterul permanent al tranzacțiilor blockchain face imposibilă recuperarea fondurilor furate. Un nou instrument, CrAIBench, își propune să ajute dezvoltatorii să-și întărească apărările.