Depuis la dernière mise à jour Google de mars 2024, les référenceurs partout dans le monde se demandent quelles sont les prochaines actions que va entreprendre le moteur de recherche leader mondial, et quel impact SEO cela va avoir sur les résultats de référencement affichés. Une nouvelle, partagée par l’un des porte parole de Google sur LinkedIn, nous en apprend d’avantage sur la tournure des choses, et sur les impacts potentiels sur notre site web.
Une déclaration de Gary Illyes sur LinkedIn à propos de ce qu’appèlent les experts le « budget crawl ».
Il faut savoir que pour collecter un maximum d’informations sur les sites web qu’ils indexent, Google utilise des crawlers, ces robots qui parcourent la toile pour enregistrer des informations sur les nouvelles pages publiées par les sites web. En effet, Google travaille à réduire le nombre de pages explorées et la consommation de données. Les décisions de crawl de Google sont dynamiques et basées sur différents facteurs. Améliorer la qualité du contenu est crucial pour garantir un crawl et une indexation efficaces.
Dans une récente déclaration sur LinkedIn, l’analyste de Google, Gary Illyes, a partagé sa mission pour l’année : comprendre comment moins explorer le web. Cela fait suite à une publication sur Reddit, autours de spécialistes du SEO discutant de la perception selon laquelle Google explore moins qu’auparavant.
Alors qu’Illyes précise que Google explore à peu près le même nombre de pages, il insiste sur la nécessité d’une planification plus intelligente et d’une focalisation sur les URL plus susceptibles de mériter un crawl.
La priorisation du crawl et la demande de recherche
Dans un podcast publié il y a deux semaines, Illyes a expliqué comment Google décide de la quantité à explorer : « Si la demande de recherche diminue, cela se traduit également par une diminution de la limite de crawl ».
Il n’a pas donné de définition claire de « demande de recherche », mais il s’agit probablement de la demande de requêtes de recherche du point de vue de Google. En d’autres termes, s’il y a une baisse des recherches sur un sujet particulier, Google peut avoir moins de raisons d’explorer les sites Web liés à ce sujet. Google s’adapterait donc aux tendances de recherche, pour maintenir une offre de contenu à jour et pertinente, ce qui semble logique quand on analyse ce phénomène dans un angle d’offre et de demande.
Le message implicite : il faut se concentrer sur la qualité du contenu plutôt que la quantité
Google a précédemment clarifié qu’un « budget de crawl » fixe est largement un mythe. Les décisions d’exploration du moteur de recherche sont dynamiques et guidées par la qualité du contenu. Comme l’a dit Illyes : « La planification est très dynamique. Dès que nous recevons les signaux de l’indexation de recherche indiquant que la qualité du contenu a augmenté sur autant d’URL, nous commencerions simplement à augmenter la demande« .
La déclaration d’Illyes sur la réduction du crawl renforce la nécessité de se concentrer sur la qualité et la pertinence. Et plus globalement, à l’ère des IA génératives fonctionnant avec des prompts, la quantité de contenu publiée en ligne a connu une explosion, ce qui donne de vrais challenges aux moteurs de recherche. En effet, plus il y a de pages à explorer, plus les ressources techniques utilisées sont conséquentes, et présentent un coût IT non négligeable.
Quels enseignements de la baisse du crawl en tirer pour sa stratégie SEO ?
Dans ce contexte d’économie du crawl des pages web, il est important d’adapter sa stratégie d’un point de vue du contenu. Par exemple, il s’agit de mettre la priorité sur du contenu de qualité en phase avec l’intention de recherche de l’utilisateur, et éviter les contenus « pour remplir » sans réelle valeur ajoutée, comme on peut le voir sur de nombreux sites web. De plus, cet aspect est souvent négligé par les référenceurs de site web, le fait de mettre à jour d’anciens contenus, en apportant des données fraîches et récentes, aidera à améliorer le référencement de votre page, et s’inscrit dans la démarche de Google de lui faire découvrir une mise à jour de contenu, plutôt qu’une nouvelle page complète.
Enfin sur la partie technique, le temps de chargement et plus généralement les différents signaux techniques (core web vitals etc) doivent être optimisés, afin de faciliter le crawl des robots, en leur offrant du contenu qui se charge vite.