Shield · crawler AI
robots.txt è una richiesta, non un obbligo. Shield sta davanti al sito, sul tuo server, e decide chi entra.
Community è gratis su un server, con tutte le protezioni.
Il crawler che vuole rispettare robots.txt lo legge; quello che non vuole lo ignora. Sul server niente lo fa rispettare.
E ogni pagina scaricata la deve generare il tuo server: un crawler troppo veloce rallenta il sito anche per chi sta comprando.
Google, Bing, Apple, Yandex, Baidu, Qwant e Petal vengono verificati e non vengono mai fermati. La SEO non si tocca.
In protezione piena un falso Googlebot viene rifiutato, e così script e browser automatici. In osservazione vengono annotati.
Di base passano, ma rallentati se vanno troppo veloci. Con un'impostazione li rifiuti tutti; motori verificati e anteprime dei link restano dentro.
Shield non sceglie crawler per crawler: per quello si usa robots.txt, con chi lo rispetta. Shield si occupa degli altri.
Google usa lo stesso Googlebot per la ricerca e per alcune funzioni AI, e Shield fa sempre entrare il Googlebot verificato. Per escludere i tuoi contenuti dall'AI di Google si usa la riga Google-Extended in robots.txt.
No. I motori di ricerca verificati non vengono mai fermati, qualunque impostazione tu scelga per gli altri crawler.
Shield li giudica da come si muovono nel sito. Durante un'ondata, i visitatori nuovi passano da una verifica breve nel browser.
Sì. Le anteprime vengono riconosciute e lasciate passare.
No. I miglioramenti arrivano con gli aggiornamenti di Shield.
Shield si installa in pochi minuti sul tuo server Linux e parte in osservazione: vedi cosa fermerebbe prima che fermi qualcosa.
Installa Shield → Vedi i piani →