#Documento robot para sitio MOC TELECOM #Metemos primero el sitemap.xml Sitemap:http://www.moctelecom.com/sitemap.xml #--------------------------------------- #Ahora las directrices para los robots #Elegimos el robot, en este caso las normas son para todos al poner * User-Agent:* #Le decimos lo que no queremos que indexe Disallow:/css/ Disallow:/images/ Disallow:/js/ Disallow:/swf/ Disallow:/XionErp/ Disallow:/asp.net/ #Le damos 10 segundos de pausa entre peticion de pagina para no saturar nuestro servidor Crawl-delay:10