¿Qué es la Indexación?

La indexación es eso que va de la mano del rastreo y que conforman la base sobre la que se sustenta el posicionamiento web.

La consecuencia directa de la indexación es que una url forme parte de los índices de los diferentes motores de búsqueda.

Vamos a referirnos, como solemos hacerlo, a Google como una forma de generalizar a los diferentes buscadores ya que su uso es el más extendido.

Sin rastreo no hay indexación y sin indexación no hay posicionamiento.

Veamos todo esto con un poco de más detalle.

¿Qué es la indexación de una página web?

Si te estás preguntando que es indexar una web quiero dejarte clara una cosa: La indexación web es un factor clave dentro de un proceso SEO, pues de la gestión que hagamos de ella dependerá qué y cuánto posicionamos (y si lo que posicionamos nos interesa posicionarlo)

Cuando he hablado sobre qué es el SEO, decía que sus bases se sustentaban en el rastreo e indexación que se haga de la web.

Te dejo este vídeo para que veas la diferencia y complementariedad de ambos conceptos.

El rastreo hace que el bot de Google entre en nuestra página web y la entienda.

Tras lo anterior, la pone a la cola de la indexación.

Por tanto tenemos que asegurarnos de que la web es accesible para los motores de búsqueda y, además, debemos tener como indexables solo aquellas páginas que queremos posicionar.

Son las páginas indexables las que podrán mostrarse en las SERPS.

¿Qué páginas deben formar parte de la indexación?

El tema es sencillo: solo debemos indexar aquellas páginas que forme parte de nuestra estrategia de marketing. Aquellas páginas que tengan un componente estratégico dentro de nuestro negocio online, son las que formarán parte de la indexación.

Por ejemplo: los mejores profesionales del sector X, un post que se suele hacer para mejorar la difusión de un artículo, es un post que no es necesario que forme parte de la indexación puesto que su objetivo no es rankear por ninguna keyword, sino conseguir una gran difusión de la marca.

Otro tipo de páginas que nos interesan que sean rastreables son las internas de una membresía, o las páginas de «mapa del sitio» cuya función es facilitar el rastreo a los motores de búsqueda.

Por tanto, puede que tengamos una página web que tenga un gran número de páginas y que ese número no se corresponda con las páginas que Google ha indexado.

Aquellas páginas que tengan un componente estratégico dentro de nuestro negocio online, son las que formarán parte de la indexación. NUEVO POST: qué es la indexación Clic para tuitear

¿Qué factores afectan a la indexación en Google?

Cómo hemos visto el proceso es rastreo e indexación. Tras esos dos pasos ya formaríamos parte de las SERPs. Consecuencia de este proceso, podemos identificar 3 factores que afectan a la indexación:

1. Discoverability: La capacidad de que sea descubierto ese contenido o esa url sería el primer factor que afecta al rastreo. Internet se conoce como red porque es un sistema interconectado dónde de un sitio vamos a otro descubriendo nuevos sitios. Los bots de los motores de búsqueda hacen lo mismo, por tanto esa interconexión creada mediante enlaces facilita el siguiente factor que afecta a la indexación en google.
2. Rastreo: para indexar en Google primero hemos de ser descubierto y nuestra web tiene que estar rastreable para los buscadores. No sería la primera vez que me llega un cliente que no se encontraba en Google y lo primero que me encuentro es que no está rastreable porque se le olvidó desmarcar lo de «disuade a los motores de búsqueda» cuando hicieron la web, por tanto la indexación web era imposible al no permitir acceder a la página a los bots de Google.
3. Indexación: De manera análoga a lo anterior, si nuestra página que permite el rastreo está marcada de manera específica como no indexable tenemos papeletas de que esa url no forme parte de las SERPs ya que no permite su indexación SEO.

Es muy habitual encontrar caso en los que no se permite la indexación pero sí el rastreo., muy habitual sobre todo con esas páginas necesarias pero inútiles en nuestra estrategia de empresa como son la política de Cookies.

Por un lado le estamos diciendo a los bots : «adelante, bienvenido a mi casa» y una vez dentro no le dices que mejor se quede fuera.

En este tipo de «conflictos» Google suele indexar esa página. Por eso es importante entender en qué consiste el rastreo y la indexación.

Yo esto lo asemejo a cuando hablamos de deportes de élite que compiten. ¿Son solo ellos los mejores? ¿hay algún nadador en el mundo que sea mejor que Michael Phelps? Teniendo en cuenta que somos 7,8 Billones de personas en el mundo probablemente habrá alguien que sea un as de la natación, tanto como Phelps.

El tema es que como no se le conoce, nadie lo ha descubierto, es como si no existiera. Pues lo mismo pasa con tu página: si los motores de búsqueda no la conocen, no la descubren…es como si no existiera.

¿Cómo podemos comprobar la indexación en google?

Una de las cosas que debemos tener en cuenta en lo referente a la indexación es tener claro qué es lo que queremos que muestre Google de nuestra web en los resultados de búsqueda.

Eso quiere decir, que no basta con ver que tenemos todas las páginas indexadas. Debemos comprobar qué páginas están siendo indexadas porque no todas nos interesan indexarlas.

Solo queremos indexar aquello que queremos posicionar.

Solo queremos posicionar aquellas páginas cuyos términos de búsqueda, o la intención de búsqueda que satisface, ayuda a la consecución de leads.

Vamos a ver dos formas para comprobar si nuestra web está siendo indexada y qué es lo que está siendo indexado de nuestra página.

Ver páginas indexadas por Google

Google además de ser un buscador puede convertirse en una herramienta útil para poder extraer información de varias áreas que afectan al posicionamiento web , entre ellas en lo relacionado con la indexación gracias a sus comandos.

Utilizar el comando site: nos va a mostrar todas las páginas de una web que ha indexado Google. Para usar este comando solo tienes que poner en el cajetín del buscador «Site:tudominio.com» omitiendo las www. y sin espacios

Ver páginas indexadas en Search Console

El mejor amigo de un SEO es Search Console. Punto.

Dicho esto, gracias a Search console nos podemos ver cual es el nivel de indexación de nuestra página web, pudiendo comprobar la indexación mediante el informe de cobertura.

¿Google no indexa mi web?

Puede ser que tu web no aparezca en Google y puede ser porque no cumpla los tres requisitos de indexación (descubrimiento, rastreabilidad e indexabilidad). Hay algunos factores que dificultan o impiden que tu página web sea indexada por los motores de búsqueda.

Factores que dificultan la indexación web

• El empleo de tecnologías o lenguajes de programación no rastreables por Google, como Flash, Ajax, Javascript…Al no ser rastreables…no será indexable…
• Uso de Iframes (marcos). Los iframes son etiquetas html que usamos para insertar el contenido de un documento en una página. Google no puede leer el contenido mostrado por iframes y por tanto no podrá indexarlo.
• Enlazado interno. Si existen páginas dentro de nuestra web que carecen de enlace interno ni externo y tampoco están incluidas en el sitemap, esa página será complicado que la rastree Google. Esto es lo que se conoce como páginas huérfanas.
• Enlaces con Rel=»nofollow». Esta etiqueta html lo que está indicando a los bots de google es que no acceda a ese enlace ni le traspase linkjuice .
• Arquitectura web mal planteada con una profundidad de rastreo elevada y que dificulte encontrar páginas y por tanto, dificulte el rastreo.
• Redirecciones y códigos de error. Los códigos que devuelven los servidores también pueden repercutir en la indexación de páginas web.
  • 200 (OK): todo ok
  • 301 (movido permanentemente): el contenido de una URL ha sido movido de forma permanente
  • 302 (encontrado): una página de manera temporal está ubicada en otra URL. Si se prolonga en el tiempo, google la interpreta como una redirección 301
  • 307 (redirección temporal): en este caso la URL original no se encuentra y se dirige a otro recurso diferente. Ojo, porque no tiene porqué ser siempre mal este código respuesta, puesto que es el tipo de redirección que se suele hacer para hacer una migración de http:// a https://
  • 404 (no encontrado): la URL a la que queremos acceder no se encuentra.
  • 410 (ya no disponible): la página a la que intentamos acceder ha sido eliminada
  • 5XX . Los errores de tipo quinientos son errores de servidor, cuando éste no es capaz de responder a la petición. En estos casos, cuando el error persiste durante mucho tiempo Google empieza a desindexar ese contenido afectado por este error 5XX

¿Cómo puedo controlar la indexación de mi página web?

Podemos y debemos controlar (o intentarlo) la indexación de nuestra página web gracias las herramientas de SEO técnico: Robots.txt y sitemap.xml

Robots.txt

El robots txt es un archivo de texto que ubicamos en la raíz del dominio.

En este archivo robots incluimos una serie de reglas que nos ayudan a controlar el rastreo: podemos limitar el acceso a algunos bots, limitar el acceso a determinadas páginas…

Cuando un bot de un motor de búsqueda llega a una página web, lo primero que mira es el archivo robots.txt para poder rastrear la página conforme a las reglas especificadas.

Al menos en teoría..

Sitemap.xml

El sitemap es un documento que recopila todas las URLs de nuestra página que queremos que indexen los motores de búsqueda.

Además de incluir un listado con las urls que conforman las distintas partes de nuestra web, también nos indica la fecha y frecuencia de actualización de ese contenido.

En el sitemap solo debemos incluir las páginas que queremos posicionar en los diferentes motores de búsqueda, todo aquello cuyo posicionamiento no redunde en una consecución de nuestros objetivos de negocio aludiendo a alguna fase de nuestro embudo de ventas, mejor no incluirla en el sitemap.

Podemos crear nuestros sitemaps y gestionarlos de manera sencilla con los famosos Yoast SEO o Rank Math, los plugins SEO más usados.

Si quieres comprobar si el sitemap que has elaborado está correcto puedes usar, de nuevo, Search Console.

Etiqueta meta robots.

Se trata de una etiqueta en Html que nos permite indicar a los diferentes buscadores si una página debe ser indexada o no. La etiqueta meta robots es importante porque es de obligado cumplimiento por parte de los motores de búsqueda.

Esta etiqueta meta robots también podemos usarla para que de manera específica aludan a un crawler en concreto (o a varios)

Etiqueta X-robots-tag

Muy similar al funcionamiento de la etiqueta meta-robots. En este caso se ubica en la cabecera de los documentos y por tanto necesitaremos acceder a algunos archivos de nuestro servidor.

Gracias a la etiqueta X-robots-tag tenemos una mayor capacidad de configuración y podemos usar expresiones regulares aplicables a páginas o archivos que compartan algunas particularidades, de esta forma podremos redefinir las directivas dadas.

rel=»canonical»

La etiqueta rel=»canonical» nos ayuda a manejar la problemática del contenido duplicado. Gracias a esta etiqueta le indicamos a Google qué url es la que queremos que sea rastreada e indexada para que la tome como preferida.

Paginaciones: rel=prev/next»

Cuando hay mucho contenido porque se trata de un ecommerce y hay muchos productos o artículos porque se trata de un blog,para facilitar la visualización de ese contenido se suele dividir en diferentes páginas (como si fuera un libro). Para gestionarlo podemos hacer varias cosas:

• Hacer un scroll infinito, en el que no haya paginaciones
• Establecer una relación entre las diferentes paginaciones (página 1 de n)

Conclusión sobre la indexación Web

La indexación es lo que va a permitir que una página web aparezca en la hoja de resultados de google (también conocido como SERPs) y para conseguirlo nuestras páginas deben ser rastreables y propiciar que sean indexables. Es decir, la indexación es la antesala a que una web sea visible en internet.

Además, tan importante es que sea rastreable e indexable cómo conocer qué aspectos dificultan la indexación web para poder evitarlos o minimizarlo en la medida de nuestras posibilidades.

Tenemos un montón de herramientas que nos permiten tener un mayor control sobre la indexación: el robots.txt, el archivo sitemap, la etiqueta meta robots o la etiqueta X-robots son solo algunas de ellas, aunque tenemos otras (etiquetas canónicas, paginaciones o el marcado hareflang del que no hemos hablado en este post)

Cómo todo lo que intervienen en un negocio, para saber si algo está funcionando debemos poder controlarlo o medirlo y para conseguirlo contamos con Search Console que gracias a sus informes de cobertura nos avisa de posibles problemas de indexación.

Igual de importante es el probador de sitemap también de google search console que nos va a permitir comprobar si nuestro sitemap se ajusta a nuestras necesidades.

Comparte ¿Qué es la Indexación? en tus Redes Sociales