Etiqueta: robots.txt

Valencia, 29/03/2014, G.B. El archivo robots.txt es un fichero de texto plano (plain text) que se utiliza para dar instrucciones a los robots web, crawlers […]