OpenAI, Google e Microsoft propongono un nuovo segnale di opt-out per la protezione dei contenuti online

OpenAI, Google, Microsoft e Anthropic hanno recentemente annunciato il loro sostegno a un’iniziativa che mira a proteggere i contenuti online dai prelievi non autorizzati da parte di modelli di intelligenza artificiale. Questa proposta prevede l’introduzione di un segnale condiviso da inserire nel file robots.txt dei siti web, che indicherebbe ai crawler se il contenuto può essere utilizzato per l’addestramento delle AI.

L’iniziativa nasce in risposta a una crescente preoccupazione tra i proprietari di siti e gli utenti riguardo al prelievo automatico di contenuti da parte delle aziende che sviluppano modelli di intelligenza artificiale. Le aziende coinvolte hanno sottolineato l’importanza di fornire ai siti web un modo chiaro per esprimere il proprio consenso o dissenso all’utilizzo dei loro contenuti.

La proposta principale consiste nell’estendere le regole del file robots.txt. Gli sviluppatori potrebbero aggiungere una sezione dedicata, ad esempio con l’intestazione # AI crawlers, e utilizzare regole come Disallow: / per bloccare tutti i crawler AI. In alternativa, si potrebbe specificare un singolo user-agent, come User-agent: ChatGPT-User seguito da Disallow: /, oppure limitare l’accesso a percorsi specifici, come Disallow: /author/benedict-collins.

È importante notare che questa soluzione funzionerebbe solo con i crawler che rispettano le direttive del robots.txt. Pertanto, gli esperti raccomandano di adottare misure di sicurezza aggiuntive per proteggere i contenuti. Tra queste misure ci sono l’accesso riservato a utenti registrati, che può filtrare i bot ma potrebbe anche aumentare il tasso di abbandono degli utenti; il rate limiting e il blocco IP, utili contro il traffico concentrato ma facilmente aggirabili; e i CAPTCHA, che possono risultare invasivi per gli utenti e vulnerabili ai modelli AI avanzati.

Ogni metodo di protezione presenta compromessi tra la sicurezza contro lo scraping e la qualità dell’esperienza utente. Pertanto, è fondamentale che i proprietari di siti web valutino attentamente l’impatto e i costi delle misure adottate prima di implementarle.