Cloudflare permite site-urilor să factureze roboții AI cu ‘Plată pe Crawling’

Cloudflare oferă editorilor o nouă opțiune: să perceapă taxe bot-urilor AI pentru scanarea site-urilor lor, folosind un sistem de plată HTTP 402 reactivat.

Prin noul său sistem „Pay Per Crawl” proprietarii de site-uri web pot percepe taxe botilor AI pentru a accesa conținutul lor. Sistemul oferă editorilor o abordare alternativă față de politica lor actuală cu două opțiuni, care fie permite colectarea de date AI, fie blocarea completă a accesului AI.

„Mulți editori, creatori de conținut și proprietari de site-uri se simt în prezent ca și cum ar avea o alegere binară – fie lasă ușa din față deschisă larg pentru ca IA să consume tot ceea ce creează, fie își creează propria grădină închisă,” a declarat Cloudflare. „Dar ce ar fi dacă ar exista o altă cale?”

Cu Pay Per Crawl, creatorii de conținut pot acum decide cine intră și la ce preț. Pot lăsa unele roboți de căutare AI să intre gratuit, pot bloca pe alții în totalitate sau pot percepe o taxă pentru acces. „Ne-am dorit ca creatorii de conținut să aibă control asupra celor care accesează munca lor,” a declarat Cloudflare. „Creatorii ar trebui să fie la volan.”

Măsura vine în contextul unei reacții tot mai puternice împotriva companiilor de AI care folosesc conținut web fără consimțământ. De exemplu, YouTube a fost criticat pentru că a permis Google să extragă video fără a anunța creatorii. În plus, funcția AI Overviews a Google a redus traficul către site-urile de știri precum HuffPost și The Washington Post cu mai mult de 50%.

„Google pur și simplu ia conținutul cu forța și îl folosește fără a oferi nimic în schimb – definiția furtului”, a declarat Danielle Coffey, președinta News/Media Alliance.

Instrumentul funcționează folosind o caracteristică veche a web-ului: codul de răspuns HTTP 402, care înseamnă „Plată Necesară”. Dacă un bot AI încearcă să acceseze o pagină, serverul poate acum să răspundă cu un 402 și să includă un preț. Dacă botul este de acord să plătească, serverul livrează conținutul.

Cloudflare oferă infrastructura tehnică și se ocupă de plăți. Editorii pot seta un preț fix per solicitare de crawl și pot chiar să aplice reguli diferite pentru diferite boturi. Chiar dacă un bot nu este înregistrat la Cloudflare, acesta tot poate fi „taxat” – blocând practic accesul, dar lăsând loc pentru oferte viitoare.

Acest sistem ar putea duce la o licențiere mai flexibilă și la prețuri dinamice în viitor. Așa cum spune Cloudflare: „Oferind creatorilor un mecanism robust și programatic de evaluare și control al activelor lor digitale, îi împuternicim să continue crearea de conținut bogat și divers care face internetul inestimabil.”