El documento robots.txt es un elemento clave para toda página web que desea ser bien posicionada por los rastreadores como Chrome . Sirve como un mapa para los rastreadores , indicándoles qué páginas de tu plataforma pueden deben indexadas y cuáles se deben excluir . La adecuada configuración de este fichero sirve a evitar problemas de posici