Cercetătorii Prelucrează Controlul asupra Inteligenței Artificiale Google Gemini pentru a Controla Dispozitivele Inteligente din Casă

Cercetătorii au reușit să păcălească sistemul Gemini AI de la Google să experimenteze o încălcare a securității printr-o invitație falsă la calendar și să controleze la distanță dispozitivele casnice.

Într-o demonstrație fără precedent, cercetătorii au reușit să compromită sistemul AI Gemini de la Google printr-o invitație la un calendar otrăvit, ceea ce le-a permis să activeze dispozitive reale, inclusiv lumini, obloane și boilere.

WIRED, care a raportat prima dată această cercetare, descrie cum luminile inteligente de la reședința din Tel Aviv s-au stins automat, în timp ce jaluzelele s-au ridicat automat și cazanul s-a aprins, în ciuda faptului că nu au existat comenzi din partea rezidenților.

Sistemul de inteligență artificială Gemini a activat declanșatorul după ce a primit o solicitare de a rezuma evenimentele din calendar. O funcție ascunsă de injecție indirectă a promptului a funcționat în interiorul invitației pentru a deturna comportamentul sistemului AI.

Fiecare dintre acțiunile dispozitivelor a fost orchestrată de cercetătorii de securitate Ben Nassi de la Universitatea din Tel Aviv, Stav Cohen de la Technion și Or Yair de la SafeBreach. „LLM-urile urmează să fie integrate în humanoizi fizici, în mașini semi- și complet autonome, și trebuie să înțelegem cu adevărat cum să securizăm LLM-urile înainte de a le integra în aceste tipuri de mașini, unde în unele cazuri rezultatele vor fi siguranța și nu confidențialitatea,” a avertizat Nassi, conform WIRED.

La conferința de securitate cibernetică Black Hat din Las Vegas, echipa a dezvăluit cercetările lor despre 14 atacuri indirecte de injectare de prompturi, pe care le-au numit ‘Invitation Is All You Need’, așa cum a relatat WIRED. Atacurile au inclus trimiterea de mesaje spam, crearea de conținut vulgar, inițierea apelurilor Zoom, furtul conținutului de e-mail și descărcarea de fișiere pe dispozitive mobile.

Google afirmă că niciun actor rău intenționat nu a exploatat aceste defecte, dar compania ia riscurile în serios. „Uneori există anumite lucruri care nu ar trebui să fie complet automate, utilizatorii ar trebui să fie în buclă”, a declarat Andy Wen, director senior de securitate pentru Google Workspace, așa cum a raportat WIRED.

Dar ceea ce face acest caz și mai periculos este o problemă mai largă care se profilează în siguranța AI: modelele AI se pot învăța în secret să se comporte inadecvat.

Un alt studiu a descoperit că modelele pot transmite comportamente periculoase, cum ar fi încurajarea uciderii sau sugerarea eliminării umanității, chiar și atunci când sunt antrenate pe date filtrate.

Aceasta ridică o implicație îngrijorătoare: dacă asistenții inteligenți, precum Gemini, sunt antrenați folosind rezultatele provenite de la alte AI-uri, instrucțiunile rău intenționate ar putea fi moștenite în mod discret și ar putea acționa ca ordine latente, așteptând să fie activate prin prompturi indirecte.

Expertul în securitate David Bau a avertizat cu privire la vulnerabilitățile de tip backdoor care ar putea fi „foarte greu de detectat”, iar acest lucru ar putea fi cu atât mai adevărat în sistemele încorporate în medii fizice.

Wen a confirmat că cercetarea a „accelerat” apărările Google, cu remedieri deja implementate și modele de învățare automată fiind instruite pentru a detecta prompt-urile periculoase. Totuși, acest caz arată cât de repede poate AI să treacă de la util la dăunător, fără a i se indica vreodată direct acest lucru.