Quest’anno il file Robots.txt ha compiuto 20 anni, fu infatti implementato la prima volta nel 1994 ed ancora è largamente usato. Prima di entrare nei dettagli degli errori più comuni da evitare è importante capire perchè fu necessario sviluppare questo protocollo ed il suo standard.
Negli a… …

Leggi l’articolo completo: Robots.txt e gli errori da evitare

#Posizionamentosuimotori
#Crawling, #Robotstxt