La direttiva Crawl-Delay del Robots.txt


Molti crawler supportano la direttiva “Crawl-delay” la quale imposta il numero di secondi che i bot e crawler dei motori di ricerca (e non solo) devono attendere prima di effettuare la richiesta successiva al web server.
Il parametro Crawl-delay viene usato dai grandi siti che p… …

Leggi l’articolo completo: La direttiva Crawl-Delay del Robots.txt

#Posizionamentosuimotori
#Crawling, #Robotstxt