Nos expertises
Crawl et Indexation du site par les moteurs de recherche
Définition d’un crawler
Le terme crawler désigne un programme informatique conçu pour rechercher sur Internet et analyser des sites Web pour l’indexation des contenus sur Google. Les termes robot d’indexation, araignée ou moteur de recherche sont également utilisés comme synonymes pour les robots d’indexation. Pour Google, le robot s’appelle Google Bot.
Comparables aux internautes, les robots d’exploration se déplacent sur Internet en utilisant des hyperliens pour passer d’un site Web à l’autre.
Bonnes pratiques
Indexation et crawl
Aujourd’hui encore, trop de gens méconnaissent ou mélangent des concepts clés du référencement naturel, et notamment tout ce qui concerne le crawl et l’indexation des URL de votre site. Cela concerne vos contenus classiques, mais aussi n’importe quelle ressource : PDF, images, CSS, polices d’écriture, etc.
C’est pourtant un point clé (ou bloquant) pour améliorer votre visibilité ! En SEO, il est impératif de maîtriser ces éléments pour donner plus de poids et de visibilité à vos contenus pertinents, tout en supprimant les URL inutiles de Google.