Les moteurs de recherches comme Google, Bing, Ecosia, Yahoo, Qwant, Mozilla etc… Ont tous leurs propres algorithmes d’indexation, qui tendent néanmoins à respecter les mêmes règles. Pour indexer les sites web, un moteur de recherche dispose de robots que nous appellerons également bot, crawler, agents ou encore spider car ne l’oublions pas, le web pourrait être représenter comme une toile d’araignée géante reliant tous les site web grâce à l’hypertexte et le robot dans tout ça, c’est l’araignée sur cette toile qui navigue entre les différents sites pour les indexé (analyser leurs contenus et leurs structure).

Ces spiders trouvent de nouveaux contenus et de nouveaux sites web en remontant un à un tous les liens hypertexte s’en servant ainsi pour analyser tout le contenu sans jamais s’arrêter.

Quand un site est analysé on pourrait dire qu’il reçoit une note d’appréciation plus ou moins élever de la part des moteurs de recherche se basant sur sa pertinence, sa responsivité, sa lisibilité, sa redondance, son trafic, sa structure, sa vitesse de chargement (optimisation), son ancienneté et bien d’autres points même si nous venons de lister les plus importants.

En d’autres termes l’indexation n’a rien d’aléatoire, cela sert donc à contrôler l’efficacité et la pertinence de vos sites pour les faire remonter ou non dans les recherches de vos utilisateurs cible mais il faut savoir qu’un site mal conçu peut également être blacklisté par les moteurs de recherche.

Il est donc indispensable d’en tenir compte lors de la conception, en suivant les règles élémentaires du SEO.