Robots.txt è probabilmente il file più piccolo di un sito web, eppure uno di quelli capaci di causare i danni più importanti in caso di errore. Una sola riga scritta male può far scomparire un intero sito dai risultati di ricerca in poche ore, generalmente senza che alcun avviso visibile segnali al proprietario del sito il problema prima che il traffico crolli.

Cosa fa realmente questo file

Robots.txt indica ai crawler quali parti di un sito possono o non possono esplorare. Deve trovarsi obbligatoriamente alla radice del dominio, all'indirizzo esempio.it/robots.txt, altrimenti semplicemente non viene preso in considerazione. Un punto spesso frainteso merita di essere chiarito: robots.txt controlla l'esplorazione, non l'indicizzazione. Una pagina bloccata in questo file può comunque comparire nei risultati di ricerca, generalmente senza descrizione, se altri siti vi puntano tramite un link. Per rimuovere una pagina dai risultati in modo affidabile, il tag noindex posto direttamente sulla pagina resta lo strumento corretto, non robots.txt.

L'errore più costoso: il blocco totale accidentale

Lo scenario più dannoso resta la riga Disallow seguita da una semplice barra, che blocca l'esplorazione dell'intero sito. Questo caso si verifica frequentemente durante una messa in produzione, quando il file robots.txt usato sull'ambiente di test, volutamente restrittivo per impedirne l'indicizzazione, finisce copiato così com'è sul sito reale senza essere modificato. Una volta commesso questo errore, non basta correggere il file perché tutto torni immediatamente alla normalità: le pagine già rimosse dall'esplorazione possono restare visibili, ma degradate, per diverse settimane mentre Google riesplora l'intero sito.

La trappola del blocco dei file CSS e JavaScript

Un altro problema frequente, in particolare sui siti più datati, consiste nel bloccare per errore l'accesso alle cartelle contenenti i fogli di stile e gli script. Google oggi analizza una pagina come farebbe un browser, tenendo conto della sua reale formattazione. Se non riesce a caricare il CSS e il JavaScript, percepisce una pagina mal formata o rotta, il che può influire negativamente sulla sua valutazione, anche se il contenuto testuale resta perfettamente accessibile.

La novità del 2026: distinguere i crawler di ricerca dai crawler di intelligenza artificiale

Dall'ascesa degli assistenti conversazionali, una nuova categoria di crawler esplora il web, con obiettivi diversi da quelli dei motori di ricerca tradizionali. Alcuni, come GPTBot o CCBot, raccolgono contenuti per addestrare modelli linguistici. Altri, come i bot di recupero usati dalle funzioni di ricerca di alcuni assistenti, mirano a citare una fonte precisa in risposta a una domanda posta da un utente, il che resta spesso auspicabile per la visibilità di un sito. Queste due categorie si distinguono per il loro nome di user agent, e robots.txt permette di autorizzarle o bloccarle in modo indipendente l'una dall'altra, invece di applicare una regola unica a tutti i bot tramite l'asterisco. Un punto da segnalare: Google-Extended, che alimenta l'addestramento dei modelli Gemini, è un bot distinto da Googlebot, il bot usato per l'indicizzazione classica nella ricerca Google. Bloccare Google-Extended non influisce quindi sul posizionamento del sito nei risultati di ricerca abituali.

Le buone pratiche per un file affidabile

Una struttura sicura consiste nel partire consentendo l'esplorazione in modo ampio, per poi aggiungere regole di blocco precise e nominate anziché jolly vaghi, il che limita le conseguenze di un errore di sintassi. Le maiuscole e minuscole contano nei percorsi indicati: bloccare una cartella scritta in minuscolo non blocca automaticamente lo stesso indirizzo scritto con la maiuscola. Si raccomanda inoltre di includere sempre la riga che indica la posizione della sitemap, un passaggio semplice ma frequentemente dimenticato, e di mantenere il file conciso, sapendo che i principali motori generalmente ignorano i file che superano diverse centinaia di kilobyte.

Verificare dopo ogni modifica

Dopo ogni modifica al file, in particolare dopo una messa in produzione, un controllo rapido del suo contenuto reale online evita di scoprire un blocco accidentale diversi giorni dopo che ha iniziato a influire sul traffico. Search Console offre uno strumento dedicato che permette di verificare se un URL preciso è bloccato dal file attuale, il che resta il modo più affidabile per confermare che una regola produca l'effetto previsto.

Punti da verificare prima della pubblicazione: confermare che la distinzione tra Googlebot e Google-Extended resti esatta alla data di pubblicazione, e verificare che i nomi di user agent citati per i crawler di intelligenza artificiale (GPTBot, CCBot, Google-Extended) corrispondano ancora alle denominazioni ufficiali in vigore.