¿Qué es el Robots.txt?

Este archivo de extensión .txt lo podemos utilizar para comunicarnos con Google indicándole los directorios en los que sí puede entrar y en los que no.

Alguna de las razones por las que un sitio no esté apareciendo en Google es porque está siendo bloqueado por el archivo robots.txt

¿Cómo encontrar el archivo robots.txt?

En la barra de direcciones de tu navegador de preferencia debes de colocar:

sitio.com/robots.txt

Ejemplo robots.txt

Para este ejemplo hemos utilizado nuestro sitio seonline.marketing para ello debemos de colocar en la barra seonline.marketing/robots.txt

El resultado que se muestra es el que ves en la imagen anterior, como te puedes dar cuenta esta bloqueado todo lo que tenga que ver con el panel de administración y está dejando libre el ajax.php por lo que está correcto. 

Si por alguna razón ves que está con “Disallow” para alguna carpeta de importancia que deseas aparezca en Google debes de solucionar este problema.

Si te ha parecido interesante, no olvides que tenemos un diccionario SEO en donde explicamos muchos más terminos.