El documento robots.txt es el herramienta fundamental para la sitio que pretende estar bien indexada por los rastreadores como Google . Sirve como el mapa para los crawlers , indicándoles qué secciones de tu sitio pueden ser rastreadas y cuáles no . Una correcta configuración de este archivo ayud