¿Qué es y cómo funciona el robot de Google? - Elabs Consulting
¿Alguna vez te has preguntado qué es Googlebot, y qué papel juega en el posicionamiento de tu web mediante los enlaces internos en seo?
¿Te gustaría saber cuáles son los aspectos que debes tener en cuenta que te harán conocer mejor al robot de Google?
¿Sabías que existen herramientas seo que te permiten simular el bot de Google cómo por ejemplo Screaming Frog?
El algoritmo de Google y, en definitiva, los robots que rastrean los sites se basan en muchísimos factores que determinan si tu web posicionará mejor o peor en la página de resultados, desde la relevancia del contenido hasta su calidad, pasando también por un sinfín de temas técnicos (ya sea que tengas una web informacional como un blog, o que quieras hacer seo en e-commerce).
De hecho, dentro de la optimización SEO hay factores que son requisitos mínimos y otros que serán los que te harán competir. Todos ellos son necesarios para lograr las primeras posiciones en Google, pero no podemos empezar la casa por el tejado.
En la siguiente pirámide se muestran los elementos más básicos del SEO; en la base de la pirámide están los elementos fundamentales para llegar a aparecer en Google y sobre ellos, los que ayudarán a que tu web sea competitiva:
En el artículo de hoy hablaremos de la parte más básica del SEO, esos elementos fundamentales que, de no tenerse en cuenta, pueden frenar a tu web de llegar a posicionar en Google: el rastreo y la indexación.
Diferencia entre rastreo e indexación
En primer lugar, es necesario entender estos dos conceptos. Aunque el rastreo y la indexación suelen ir de la mano, son dos fases diferentes dentro del proceso que sigue Google para incluir el contenido de tu web en su índice. ¿En qué consisten?
El rastreo es el proceso que siguen Google y otros motores de búsqueda para conocer tu web. Para ello, se sirven de robots que navegan por las web a través de los enlaces, que en el caso de Google, recibe el nombre de “Googlebot”.
Es decir, el rastreo es el método que siguen los motores de búsqueda para navegar por tu web. Por otro lado, la indexación es el proceso por el que los motores de búsqueda incluyen una web las SERPs de Google.
Por ejemplo, Google puede rastrear una web y no indexarla, es decir puede navegar por ella pero no se la guarda.
¿Cómo funciona Googlebot?
Estos son los pasos que el bot de Google sigue para rastrear nuestro site:
- Cuando Googlebot llega a tu site, comienza a seguir todos los enlaces internos para descubrir tu contenido.
- Analiza el contenido de las páginas que ha rastreado.
- Hace una copia de tu web que luego almacena en su índice.
- Cataloga el contenido en función de la temática.
- Da un valor a la web en función de su contenido.
Cuando el usuario hace una búsqueda en Google, a través del algoritmo Google le ofrece un ranking con los resultados que mejor se ajustan a su búsqueda:
¿Por qué una página de tu web no está indexada?
Existen varios motivos por los que una URL de tu web no esté indexada en Google:
La URL está bloqueada en el archivo robots.txt.
El archivo robots.txt en un archivo en el que se indica a los motores de búsqueda a qué URLs pueden o no pueden acceder. Si una URL o un conjunto de URLs están bloqueadas en este archivo, Google no las rastreará.
Metaetiqueta noindex
Es una etiqueta en el html de cada página de la web en la que se indica si una página debe o no indexarse y si sus enlaces deben ser o no seguidos por los motores de búsqueda.
Se muestra de la siguiente forma:
Se indexará y los motores de búsqueda seguirán los enlaces para descubrir otras páginas.
Se indexará y los motores de búsqueda no seguirán los enlaces de esa página.
No se indexa pero los motores de búsqueda seguirán los enlaces para descubrir otras páginas.
Ni se indexa, ni se seguirán los enlaces.
Enlazado
Si una url no está enlazada desde ningún sitio, es difícil que Google la descubra y que la indexe.
Contenido en Javascript: Si una url está en Javascript, Google puede tener problemas en su rastreo que afecten también a la indexación.
Google y JavaScript
JavaScript se ha convertido, sin lugar a dudas, en el principal lenguaje de la web, pero Google siempre ha tenido problemas para rastrearlo y ejecutarlo correctamente. Aunque hoy en día el gigante de Internet ha evolucionado mucho en este sentido, todavía tiene algunos problemas.
Esto no quiere decir que una web en JavaScript no pueda posicionar, sino que a Google le costará algo más indexarla.
¿Qué puedes hacer si tu web está en Javascript?
Tu web en JavaScript se puede procesar en el servidor o directamente en tu navegador. En función de cómo se haga, será más o menos difícil para Google rastrearla.
- Server Side Rendering: un site puede crearse en Javascript, pero ser configurado para que se ejecute en el servidor y cuando la web se cargue en el navegador (por ejemplo, Chrome) lo haga como una web en html, un lenguaje mucho más sencillo de entender para Google. Desde el punto de vista SEO, esta es la opción recomendada ya que hace que la web funcione más rápido tanto para usuarios como para buscadores.
- Client Side Rendering: al contrario que en el caso anterior, JavaScript se cargará directamente en el navegador, es decir, para Google sería más difícil rastrear la web.
¿Cómo procesa Google JavaScript?
El proceso de indexación de JavaScript se hace en 2 fases:
- Googlebot rastrea la web: Googlebot accede a una URL, pero primero consulta el archivo robots.txt para asegurarse que puede rastrearla. Después, a través de los enlaces consulta las URLs enlazadas (excepto si se le indica que no debe seguirlas). Si la página es Server Side Rendering (es decir se procesa en el servidor) no hay problema y la indexa.
- Si la página es Client Side Rending, es decir, si se ejecuta en el navegador, Google deja las URLs en cola, y espera a tener más recursos para ejecutarlas. Googlebot rastrea la página ya ejecutada (en html) y finalmente la indexa.
Como conclusión, debemos tener en cuenta que si Google no puede rastrear correctamente la web, será mucho más difícil indexarla y, por lo tanto, posicionar. Recuerda, los enlaces internos serán fundamentales para el correcto rastreo de tu web y ten en cuenta que si tu web es en JavaScript, deberás hablar con el equipo técnico para asegurarte de su correcta indexación.
