Los meta robots son meta etiquetas HTML que se utilizan para dirigir a los robots y arañas de los motores de búsqueda mientras rastrean su sitio web.
Con los meta robots podemos elegir en cada momento qué queremos que haga el bot de Google cuando detecte cada URL que conforma una página web. Su presencia por defecto es aceptable en todos los aspectos, pero su valor útil viene cuando configuramos las directivas de rechazo según tu estrategia SEO.
Diferencia entre meta robots y robots.txt
Principalmente debemos saber que ambas opciones nos dan control sobre el comportamiento de los bot de Google a la hora de hacer el rastreo dentro del sitio web. Sin embargo, las características que te ofrece cada una de estas herramientas a la hora de rastrear o indexar son:
Meta robots
- La etiqueta meta robots permite el crawling de la URL.
- Controla la indexación.
- No ayuda a optimizar el crawl budget.
- Tiene a su disposición varias directivas
Robots.txt
- EL robots.txt bloquea el paso de los motores de búsquedas.
- En muchos casos es ignorada la directiva “disallow”
- No permite la entrada de crawlers.
- Es un poco limitado en cuanto a sus opciones.
El uso de uno u otro dependerá de lo que quieras lograr y la estrategia SEO que tengas en cuanto a tus URLs.
Estructura básica de un meta robots
Lo más importante en cualquier meta etiqueta HTML es su ubicación, estructura y código en sí. Un meta robot es una meta etiqueta HTML colocada en la parte superior y se estructura de la siguiente manera:
<meta name=”robots” content=“aquí se coloca la directiva”>
Lo único que cambiará siempre dentro de cualquier metaetiquetas es el parámetro o las directivas que queramos indicarle a los motores de búsqueda, las cuales permiten el rastreo de la URL, las directivas más conocidas son:
- Etiqueta noindex: si no quieres que los motores de búsqueda indexen esa URL en particular. El valor predeterminado de los meta robots es contraria a esta: index.
- Etiqueta nofollow: permite el rastreo y seguimiento de los enlaces que se encuentran dentro del contenido de la URL. Similar a la anterior, esta etiqueta tiene el valor contrario como predeterminado: follow.
- Noimageindex: cuando no quieras que se indexen las imágenes que están dentro de la URL en concreto.
- None: equivaldría a colocar las metaetiquetas predeterminadas follow e index.
- Nocache: en el caso de que no se quiera permitir el almacenamiento de la URL en la caché.
- Nosnippet: dejará de mostrar los snippets, como la meta descripción en los SERPs.
¿Cómo implementar meta robots en WordPress?
Una de las maneras de implementar es con Yoast SEO donde podemos configurar meta robots de forma individual muy fácilmente, lo único a destacar es que las opciones son muy limitadas. El plugin Yoast SEO se instala como cualquier otro de WordPress, pero la optimización de Meta Robots está un poco oculta si no sabe dónde encontrarla.
Otra manera de implementar los meta robots es de forma manual, preparando el código y seleccionando el archivo a editar. Sin embargo, es común solo editar el archivo header.php, puedes hacer lo mismo con el functions.php, y por último agrega el código.
Es importante recordar que las directivas deben tener sentido y no contradecirse, para así tomar el control del comportamiento de los motores de búsqueda dentro de tu web.
