PLAY PODCASTS
114 | Cómo tener un correcto archivo Robots.txt en WordPress

114 | Cómo tener un correcto archivo Robots.txt en WordPress

WordPress Semanal

June 20, 201819m 11s

Audio is streamed directly from the publisher (media.blubrry.com) as published in their RSS feed. Play Podcasts does not host this file. Rights-holders can request removal through the copyright & takedown page.

Original episode page

Show Notes

En el episodio 114 de Wordpress Semanal te explico qué es el archivo robots.txt, te enseño a crearlo y te doy ejemplos de cómo puedes configurarlo en WordPress.

Escuchar en iTunes Escuchar en iVoox Escuchar en Spotify

Plugin de la semana: Instagram Feed

Con el plugin Instagram Feed puedes mostrar fotos de instagram en tu web de forma actualizada. Ya sean de tu cuenta, de otras o de varias a la vez. Siempre que no sean privadas, claro.

Viene con bastantes opciones de personalización y funciona a las mil maravillas (es el que uso para mis clientes).

Si quieres opciones más avanzadas, como efectos en al pasar el ratón por encima, entonces puedes comprar la versión pro.

El archivo robots.txt en WordPress

  1. ¿Qué es el archivo robots.txt?

    • Un archivo que da indicaciones a los motores de búsqueda sobre cómo y qué tienen que rastrear en nuestra web
    • Puede ser virtual (el que crea WordPress por defecto) o físico (si lo creas tú o algún plugin como Yoast)
    • El físico se encuentra en la raíz de tu instalación de WordPress
    • Si quieres comprobar si lo tienes o cómo lo tienes teclea en un navegador la dirección de tu web seguida de /robots.txt (por ejemplo https://gonzalonavarro.es/robots.txt)

  2. ¿Es el robots.txt importante para el SEO?

    • Sí
    • Sobre todo si haces las cosas mal
    • Es aconsejable estar al día en las mejores prácticas

  3. ¿Cómo crear el robots.txt en WordPress?

  4. ¿Qué tiene que tener tu robots.txt?

    • A mi me gusta guiarme por los expertos en esto
    • Por ejemplo, el de Yoast está prácticamente vacío
    • Igual que el mío
    • Pero hay que tener en cuenta que cada caso puede ser distinto
    • Por ejemplo, Yoast bloquea una página de su web donde tiene una herramienta de sugerencias
    • Pero en tu caso no tienes por qué hacerlo

  5. Olvídate de las antiguas prácticas

    • No bloquees directorios de WordPress como wp-includes o wp-content/plugins
    • Tampoco uses el robots.txt para bloquear urls que no reciben tráfico
    • La forma correcta de hacerlo es con nofollow y noindex (puedes hacerlo con Yoast)
    • No bloquees el wp-admin porque eso ya lo cubre WordPress (gracias a Yoast)
    • Tampoco hace falta que pongas un enlace a tu sitemap (basta con que lo subas a través de Google Search Console)

  6. Probador de Robots.txt en Google Search Console y cómo indexarlo

    • Puedes comprobar el estado del archivo robots.txt en Google Search Console
    • Accede a tu cuenta y ve a Rastreo > Probador de Robots.tx
    • Escribe robots.txt y dale a «Probar»
    • Google te dirá si tienes errores
    • Si has hecho cambios en el archivo, haz click en «Enviar» y después en el paso 3 («Enviar»). Esto hará que se indexe la versión nueva

  7. Ejemplos de robots.txt de algunos referentes en SEO y WordPress

Para seguir aprendiendo a gestionar tu negocio o proyecto con WordPress, prueba el área para suscriptores durante 15 días sin compromiso y echa un vistazo a todos los cursos, la zona código y el soporte WordPress.

Enlaces

En este episodio he mencionado los siguientes recursos:

  1. Nuevo vídeo de la Zona código: crear listas numeradas personalizadas
  2. Curso del plugin de Yoast (vemos cómo crear el robots.txt, o cómo configurar el sitemap…)

Conclusión

El archivo robots.txt es un archivo muy poderoso que tiene que usarse con cuidado. Te permite denegar accesos pero realmente casi nunca deberías optar por esta opción.

Con los años, Google ha cambiado la forma en la que rastrea las web así que las antiguas «mejores prácticas» ya no son válidas. Yo te recomiendo seguir a gente que viva del SEO (como Yoast) para estar siempre al tanto de lo que debes hacer.

Si te ha gustado el episodio de hoy y quieres ayudarme a seguir creando episodios como este en iTunes, deja una valoración aquí (tardarás segundos). ¡¡Gracias!!
Si me escuchas desde iVoox, también te agradezco tus comentarios y me gusta.

La entrada 114 | Cómo tener un correcto archivo Robots.txt en WordPress es una artículo de Gonzalo Navarro.

← All episodes of WordPress Semanal