Shield · crawler AI

Fuori i crawler che non vuoi. Dentro Google.

robots.txt è una richiesta, non un obbligo. Shield sta davanti al sito, sul tuo server, e decide chi entra.

Community è gratis su un server, con tutte le protezioni.

§01Il problema

robots.txt da solo non basta

Il crawler che vuole rispettare robots.txt lo legge; quello che non vuole lo ignora. Sul server niente lo fa rispettare.

E ogni pagina scaricata la deve generare il tuo server: un crawler troppo veloce rallenta il sito anche per chi sta comprando.

§02Cosa fa Shield

Tre regole

01

I veri motori entrano sempre

Google, Bing, Apple, Yandex, Baidu, Qwant e Petal vengono verificati e non vengono mai fermati. La SEO non si tocca.

02

Chi si spaccia per altri è fuori

In protezione piena un falso Googlebot viene rifiutato, e così script e browser automatici. In osservazione vengono annotati.

03

I crawler dichiarati li decidi tu

Di base passano, ma rallentati se vanno troppo veloci. Con un'impostazione li rifiuti tutti; motori verificati e anteprime dei link restano dentro.

§03Da sapere

Cosa Shield non fa

Shield non sceglie crawler per crawler: per quello si usa robots.txt, con chi lo rispetta. Shield si occupa degli altri.

Google usa lo stesso Googlebot per la ricerca e per alcune funzioni AI, e Shield fa sempre entrare il Googlebot verificato. Per escludere i tuoi contenuti dall'AI di Google si usa la riga Google-Extended in robots.txt.

FAQDomande

Domande sui crawler AI

Bloccare i crawler AI mi fa perdere posizioni su Google?

No. I motori di ricerca verificati non vengono mai fermati, qualunque impostazione tu scelga per gli altri crawler.

E gli scraper che si fingono un browser?

Shield li giudica da come si muovono nel sito. Durante un'ondata, i visitatori nuovi passano da una verifica breve nel browser.

Le anteprime dei link su WhatsApp o Slack funzionano ancora?

Sì. Le anteprime vengono riconosciute e lasciate passare.

Devo tenere aggiornata una lista di crawler?

No. I miglioramenti arrivano con gli aggiornamenti di Shield.

→Da leggere

Decidi tu chi legge il tuo sito

Shield si installa in pochi minuti sul tuo server Linux e parte in osservazione: vedi cosa fermerebbe prima che fermi qualcosa.

Installa Shield → Vedi i piani →