El documento robots.txt es el elemento robots txt esencial para la sitio que desea estar bien posicionada por los motores de búsqueda como Google . Funciona como una instructivo para los rastreadores , indicándoles qué áreas de tu plataforma pueden deben indexadas y cuáles evitar. Una correcta configuración de este archivo sirve a solucionar