Bloccare GPTBot toglie il mio sito da ChatGPT?

Non del tutto. GPTBot raccoglie dati per l'addestramento, mentre OAI-SearchBot serve alla ricerca di ChatGPT e può portarti traffico. Puoi bloccare il primo e lasciare attivo il secondo: sono due interruttori separati.

Bloccare Google-Extended penalizza il posizionamento su Google?

No. Google-Extended non è un crawler a sé ma un token che controlla l'uso dei contenuti per i modelli IA di Google. La scansione e il posizionamento nella ricerca restano affidati a Googlebot, che non viene toccato.

Dove va messo il file robots.txt?

Nella radice del dominio, così che risponda a `https://tuosito.it/robots.txt`. Un file in una sottocartella viene ignorato, e ogni sottodominio (per esempio `shop.tuosito.it`) ha bisogno del proprio.

Il robots.txt impedisce l'accesso a una pagina?

No. È una convenzione che i crawler scelgono di rispettare, non una barriera tecnica: chiunque abbia il link può aprire la pagina, e il file stesso è pubblico. Per contenuti riservati serve un'autenticazione.

Cos'è il file llms.txt?

È una proposta presentata a settembre 2024 su llmstxt.org: un file Markdown nella radice del sito che offre ai modelli linguistici una guida ai contenuti principali. Non sostituisce il robots.txt e non blocca nessuno; non è nemmeno uno standard ufficiale. Il testo di servizio inserito dal generatore è in inglese: puoi tradurlo prima di pubblicarlo.

Generatore robots.txt

Q: Come si bloccano i bot di intelligenza artificiale con il robots.txt?

Si aggiunge un gruppo per ogni crawler, per esempio `User-agent: GPTBot` seguito da `Disallow: /`. Con l'interruttore che blocca tutti i bot IA il generatore inserisce in un colpo solo i 16 bot IA dell'elenco. Ricorda che robots.txt è una richiesta: i bot ufficiali la rispettano, quelli scorretti no.

Generatore robots.txt gratuito con preset bot IA (GPTBot, ClaudeBot, PerplexityBot), tester URL e generatore llms.txt. Senza registrazione.

Aggiornato giugno 2026

Revisionato da Rafael Duarte

Nessun URL di sitemap configurato. Aggiungere una sitemap migliora la copertura della scansione.

Controllo degli agenti IA

Addestramento (LLM)

GPTBot

OpenAI

Google-Extended

Google

anthropic-ai

Anthropic

CCBot

Common Crawl

Bytespider

ByteDance

Applebot-Extended

Apple

Amazonbot

Amazon

cohere-ai

Cohere

ClaudeBot

Anthropic

Meta-ExternalAgent

Come creare il file robots.txt

Dal modello al file testato, con il controllo dei bot IA

1. Parti da un modello

Blog, E-commerce, SaaS, Enterprise o News: ogni modello compila percorsi consentiti e bloccati tipici di quel sito.

2. Decidi quali bot IA bloccare

Attiva o disattiva 16 crawler di intelligenza artificiale uno per uno, oppure bloccali tutti con un solo interruttore.

3. Testa un URL ed esporta

Verifica se un percorso è consentito per Googlebot, Bingbot o un bot IA, poi copia o scarica il file robots.txt.

Cosa fa il generatore robots.txt

Pensato per l'epoca dei crawler IA

16 bot IA gestibili singolarmente

GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot, OAI-SearchBot e altri, divisi tra addestramento e ricerca in tempo reale.

Tester degli URL

Scegli lo user agent e il percorso: vedi se è consentito o bloccato, con la regola, il numero di riga e il gruppo che si applica.

Validazione in tempo reale

Segnala Disallow: / senza eccezioni, percorsi senza / iniziale, sitemap in HTTP, blocchi vuoti e User-agent duplicati.

Confronto con il file pubblicato

Recupera il robots.txt online di un dominio (o incollalo, se il sito blocca la richiesta) e confrontalo riga per riga con la tua configurazione.

Generatore di llms.txt

Crea un file llms.txt con nome del sito, descrizione e pagine principali, secondo la proposta pubblicata su llmstxt.org.

Link di condivisione

Il pulsante Condividi copia un URL che contiene l'intera configurazione: chi lo apre ritrova le stesse regole.

Esempi con il tester degli URL

Modello Blog, con GPTBot bloccato

User agent e percorso

Risultato

Googlebot — /wp-admin/options.php

BLOCCATO — Disallow: /wp-admin/ (gruppo User-agent: *)

Googlebot — /tag/ricette

BLOCCATO — Disallow: /tag/

Bingbot — /chi-siamo

CONSENTITO — Allow: / (riga 4)

GPTBot — /blog/carbonara

BLOCCATO — Disallow: / nel gruppo User-agent: GPTBot

Disallow: /admin con percorso /administrator

BLOCCATO anche questo: le regole funzionano per prefisso

Quando ti serve un robots.txt

Gli scenari più frequenti

Bloccare i crawler IA

Editori e blog che non vogliono finire nei dati di addestramento dei modelli possono escludere GPTBot, ClaudeBot o CCBot senza toccare Googlebot.

Navigazione a faccette negli e-commerce

Ordinamenti e filtri generano migliaia di URL quasi identici: il modello e-commerce blocca /*?sort= e /*?page= per non sprecare crawl budget.

Aree amministrative e carrello

Escludi /wp-admin/, /checkout/ o /account/ dalla scansione, ricordando che la protezione vera resta il login.

Dichiarare la sitemap

Aggiungi una o più righe Sitemap: per aiutare i motori di ricerca a trovare tutte le pagine da scansionare.

Controllare prima di sovrascrivere

Confronta il file in produzione con la nuova versione per vedere esattamente cosa cambia prima di caricarlo sul server.

Errori comuni nel robots.txt

Bloccare pagine che vuoi posizionare

Un Disallow: /blog/ impedisce a Googlebot di scansionare l'intero blog. Prima di pubblicare, prova i percorsi importanti con il tester.

Confondere scansione e indicizzazione

Un URL bloccato può comparire comunque nei risultati se riceve link esterni. Per escluderlo davvero serve noindex, e la pagina non deve essere bloccata, altrimenti Google non vede il tag.

Credere che il gruppo * valga per tutti

Un crawler segue solo il gruppo con il suo nome e ignora User-agent: *. Se crei un gruppo per GPTBot, le regole generali non si applicano più a lui.

Contare su Crawl-delay con Google

Googlebot ignora Crawl-delay; Bing e alcuni altri crawler lo rispettano. Il validatore lo segnala ogni volta che imposti un valore.

Perché usare questo generatore robots.txt

I generatori classici gestiscono solo User-agent: *. Qui ogni crawler IA ha il suo interruttore, separato tra bot di addestramento e bot di ricerca: puoi uscire dai dataset senza sparire dalle risposte di ChatGPT o Perplexity.

Il tester applica le regole come Google: gruppo specifico del bot, corrispondenza più lunga, Allow vincente in caso di parità. Con la validazione in tempo reale e il confronto con il file online sai cosa pubblichi prima di caricarlo. Tutto gira nel browser.

Bot di addestramento o bot di ricerca?

Non tutti i crawler IA hanno lo stesso scopo

Addestramento

Ricerca in tempo reale

Esempi

GPTBot, ClaudeBot, Google-Extended, CCBot

OAI-SearchBot, Claude-SearchBot, PerplexityBot

Scopo

raccogliere dati per i modelli futuri

rispondere alle domande degli utenti adesso

Può portare visite

sì, tramite citazioni e link

Domande frequenti

Si aggiunge un gruppo per ogni crawler, per esempio User-agent: GPTBot seguito da Disallow: /. Con l'interruttore che blocca tutti i bot IA il generatore inserisce in un colpo solo i 16 bot IA dell'elenco. Ricorda che robots.txt è una richiesta: i bot ufficiali la rispettano, quelli scorretti no.

Riferimenti

Google Search Central — Introduzione al file robots.txt

La guida ufficiale di Google su cosa può e non può fare il robots.txt.

RFC 9309 — Robots Exclusion Protocol

Lo standard IETF (in inglese) che definisce sintassi e regole di precedenza.

Wikipedia — Protocollo di esclusione robot

Storia e funzionamento del robots.txt, in italiano.