Google, Microsoft e OpenAI sostengono un segnale comune in robots.txt per l’addestramento IA

Google, Microsoft e OpenAI intendono riconoscere un segnale comune in robots.txt con cui i siti possono esprimere una preferenza sull’uso dei propri contenuti per addestrare modelli generativi. Annunciato il 30 ottobre 2026, il meccanismo punta a ridurre la necessità di scrivere regole diverse per ogni fornitore. Non è però già attivo per tutte e tre le aziende e la specifica è ancora una bozza, non uno standard definitivo.

La proposta compare nell’Internet-Draft dell’IETF sul segnale machine-readable per le preferenze di addestramento. Il token è __usage_ai-training: collocato nella riga User-Agent di un gruppo di regole, permette di associare una preferenza all’intero sito o a percorsi specifici.

Che cosa comunica il token e che cosa non fa

La bozza usa le direttive già presenti in robots.txt: Disallow esprime una preferenza contraria all’uso per l’addestramento dei percorsi indicati, mentre Allow esprime una preferenza favorevole. Per esempio, un gestore può escludere la maggior parte del sito e indicare un percorso che fa eccezione.

Il segnale riguarda l’uso dei contenuti, non la loro disponibilità tecnica né il loro status giuridico: la bozza non presenta una preferenza come un’autorizzazione o un divieto stabilito dalla legge. Inoltre, il token non è una direttiva che blocca la scansione. Le regole rivolte ai crawler e le preferenze d’uso restano indipendenti; un fornitore può decidere di tener conto della preferenza anche quando stabilisce se recuperare una pagina, ma il token da solo non impedisce la visita.

Se il token non compare nel file, secondo la bozza non è stata espressa una preferenza tramite questo meccanismo. E i crawler che non lo riconoscono continueranno a interpretare le proprie regole come prima: per questo, finché i fornitori non lo adotteranno, le istruzioni specifiche già presenti non diventano automaticamente superflue.

Le aziende prevedono calendari diversi

OpenAI ha detto che punta a implementare il segnale «nei prossimi mesi»; Google prevede di supportarlo nel 2027. Microsoft, invece, ha fissato al 1° febbraio 2027 l’inizio del riconoscimento delle nuove preferenze durante le scansioni. Sono calendari annunciati dalle aziende: non indicano che il segnale sia già operativo in tutti i loro servizi.

Il piano Microsoft distingue l’addestramento dal grounding, cioè l’uso di contenuti web per informare risposte generate. La preferenza condivisa riguarda l’addestramento; Microsoft ha annunciato controlli separati per il grounding. Anche Google prevede di mantenere i propri controlli specifici, tra cui Google-Extended, accanto al segnale comune. Il nuovo token, quindi, non sostituisce automaticamente le opzioni che i fornitori hanno già messo a disposizione.

La proposta è ancora in discussione all’IETF

Un Internet-Draft è un documento di lavoro: la versione pubblicata il 30 ottobre 2026 indica come scadenza il 3 maggio 2027 e può essere modificata o sostituita. La bozza descrive un modo per usare gruppi ordinari di robots.txt, senza introdurre nuove direttive. L’obiettivo è rendere più uniforme la comunicazione delle preferenze tra i fornitori che sceglieranno di riconoscere il token; l’effetto pratico dipenderà dalla loro adozione e applicazione.

Per chi gestisce un sito, il passo concreto è seguire le istruzioni operative dei singoli fornitori prima di cambiare la configurazione. Le regole che limitano la scansione e i controlli specifici per addestramento o grounding possono continuare a servire a scopi diversi. Il calendario Microsoft è quello più preciso tra i tre annunci; per OpenAI e Google, le date indicate restano più generiche.