siti internet professionali realizzazione a Viareggio Webuildweb Consulting

| viareggio toscana siti web professionali

Spider e crawler

Guarda come lo spider vede il tuo sito web
Simulatore Robots
I bot, crawler , spider più conosciuti li troviamo qui ( i più famosi )
https://www.mcanerin.com/search-engine/tools/robots-txt-generator/
NB. il checker di Dmoz è ormai dal 2017 non più operativo.
a fondo pagina, del link indicato,abbiamo quelli specifici

vediamo anche l’elenco delle cartelline con restrizione ( quelle del file system dalla cgibin nel caso di wordpress è /wp-admin/ ) a partire da questo possiamo creare il files robots.txt
robots.txt_special_bot_spider_crawler

Annunci
%d blogger hanno fatto clic su Mi Piace per questo: