Halucinațiile AI sunt acum o amenințare la securitatea cibernetică

Studiul arată că roboții de chat AI recomandă milioanelor de utilizatori pagini de autentificare false, ceea ce îi expune riscului de phishing și fraudă, sub aparența unor răspunsuri utile.

În studiu lor, firma de securitate cibernetică Netcraft a testat un model de limbaj larg (LLM) popular, întrebând unde să se autentifice pe site-urile a 50 de branduri cunoscute. Din cele 131 de linkuri de site-uri web sugerate, 34% dintre acestea erau greșite, cu domenii inactive sau neînregistrate reprezentând 29%, iar afacerile nerelevante contabilizând 5%.

Această problemă nu este teoretică. Într-un exemplu real, motorul de căutare alimentat de AI, Perplexity, a afișat un site de phishing unui utilizator care a căutat pagina de autentificare Wells Fargo. O pagină falsă Google Sites care imita banca a apărut în partea de sus a rezultatelor căutării, în timp ce link-ul autentic a fost ascuns mai jos.

Netcraft a explicat: „Acestea nu au fost solicitări de cazuri limită. Echipa noastră a folosit o formulare simplă, naturală, simulând exact modul în care un utilizator tipic ar putea întreba. Modelul nu a fost înșelat – pur și simplu nu a fost precis. Acest lucru contează, deoarece utilizatorii se bazează din ce în ce mai mult pe interfețele de căutare și chat conduse de AI pentru a răspunde la acest tip de întrebări.”

Pe măsură ce AI devine interfața implicită pe platforme precum Google și Bing, riscul crește. Spre deosebire de motoarele de căutare tradiționale, Chatbots prezintă informațiile clar și cu încredere, ceea ce îi determină pe utilizatori să aibă încredere în răspunsurile lor, chiar și atunci când informațiile sunt greșite.

Amenințarea nu se oprește la phishing. Ciberinfractorii moderni își optimizează conținutul rău intenționat pentru sistemele AI, ceea ce rezultă în mii de pagini de înșelătorie, API-uri false și cod otrăvit care scapă de filtre și ajung în răspunsurile generate de AI.

Într-o campanie, atacatorii au creat un API blockchain fals, pe care l-au promovat prin intermediul depozitelor GitHub și articolelor de blog, pentru a înșela dezvoltatorii să trimită criptomonede către un portofel fraudulos.

Netcraft avertizează că înregistrarea anticipată a domeniilor false nu este suficientă. În schimb, ei recomandă sisteme de detecție mai inteligente și măsuri de instruire mai bune pentru a preveni inventarea URL-urilor dăunătoare de către AI în primul rând.