Quest’anno il file Robots.txt ha compiuto 20 anni, fu infatti implementato la prima volta nel 1994 ed ancora è largamente usato. Prima di entrare nei dettagli degli errori più comuni da evitare è importante capire perchè fu necessario sviluppare questo protocollo ed il suo standard.
Negli a… …
Leggi l’articolo completo: Robots.txt e gli errori da evitare
#Posizionamentosuimotori
#Crawling, #Robotstxt
