Etiqueta META robots

Hoy voy a dedicar una pequeña entrada a la etiqueta robots que se puede incluir en los meta tags de una url. Como sabemos en cada una de nuestras páginas ( URLs ) podemos añadir diferentes meta tags que ayudarán a conseguir que los robots de búsqueda nos indexen mejor nuestras páginas.

meta tags

La etiqueta robots nos permite indicarle al robot de búsqueda como queremos que nos indexe y que información de nuestra web,en concreto de la URL que está visitando ( podemos incluir diferentes declaraciones de esta etiqueta para diferentes páginas ) que queremos que muestre en sus resultados. Gracias a la etiqueta robots podemos decirle al robot de búsqueda que es lo que queremos que indexe y si queremos que siga los enlaces que existen en esa página.

La etiqueta se define de la siguiente manera,

<meta name=»robots» content=»»>

El atributo content será donde especifiquemos el comportamiento que queremos que tenga el robot y puede tener las siguientes directrices:

  • index || noindex . Especificamos si queremos que indexe o no la URL
  • follow || nofollow . Especificamos si queremos que el robot siga los enlaces que encuentre en la URL o no.
  • archive || noarchive . Especificamos si queremos que el robot de búsqueda guarde o no en su caché el contenido de la URL
  • snippet || nosnippet . Esta directriz especifica si queremos que el robot de búsqueda muestre o no la descripción de de una URL, no es muy útil que digamos. Esta directriz implica automáticamente el uso de la directriz noarchive.
  • odp || noodp . Con esta directriz especificamos si queremos que se muestre, si existe, el título y la descripción que hay en el projecto Open Directory.
  • ydir || noydir. Hace lo mismo que la directriz anterior pero en este caso utilizando los datos del directorio de Yahoo!

Ahora la práctica, veamos algunos ejemplos del uso de la etiqueta robots

  • <META name=»robots» content=»INDEX,FOLLOW»> La más usual, indica que indexe la URL y siga los enlaces que se encuentre, aunque esto lo hacen prácticamente todos los robots de búsqueda por defecto. Por lo que esta etiqueta es mejor usarla para crear restricciones.
  • <META name=»robots» content=»INDEX,NOFOLLOW»> Indica que debe indexar la URL pero no seguir los enlaces que se encuentran en ella.
  • <META name=»robots» content=»NOINDEX,NOFOLLOW»> Indica que no debe indexar ni seguir los enlaces de la URL
  • <META name=»robots» content=»NOINDEX,NOFOLLOW,NOARCHIVE,NOODP,NOSNIPPET»> La más restrictiva de todas, indica que no debe indexar la URL ni seguir los enlaces que se encuentre, ni guardar copia en caché, no utilizar los datos de OPD y no utilizar ningún tipo de descripción a la hora de mostrar los resultados.

Recordar, que estas restricciones, también se pueden configurar en el archivo robots.txt, del que hablaremos en otro post.

 

Deja una respuesta