Herramienta gratuita
Generador y Probador de robots.txt
Crea reglas de rastreo, revisa el archivo que ya tienes y comprueba si una URL está realmente bloqueada, antes de que Google lo descubra por las malas.
Empieza con una plantilla
La línea más útil de todo el archivo. No la omitas.
Reglas
Tu robots.txt
Va en la raíz de tu dominio¿Hay páginas que no aparecen en Google?
El robots.txt es una de varias formas en que una página desaparece sin avisar de los buscadores. Nosotros encontramos las demás.
Agenda una sesión de estrategia gratis