L'indexation des sites internet dans MéTéOU Search

Le choix des sites à visiter

Le robot de MéTéOU Search est envoyé par différents moyens sur des sites internet, le plus souvent à la racine du site.

Les pages sont visitées et indexées. l'algorithme indexe des mots-clés trouvés à partir du contenu des pages visités.

Le robot pourra revenir plus tard sur un site déjà indexé et trouver d'autres pages ou réindexer des pages qui ont été modifiées entre-temps.

La liste d'attente

Une liste d'attente permet d'envoyer notre robot vers des nouveaux sites à visiter et indexer.

Cette liste d'attente est alimentée de plusieurs façons. Les webmasters ont la possibilité d'ajouter une URL à la file d'attente.

L'ajout à la file d'attente n'engage en rien MéTéOU Search et n'implique pas nécessairement que le site web proposé sera indexé dans notre base de données.

Le suivi des liens

Les liens trouvés sur les pages peuvent être suivis, qu'il s'agisse de liens interne, vers un sous-domaine ou liens externes (liens vers un autre site web).

Le robot de MéTéOu Seaarch peut visiter et indexer les pages web des sites internet trouvés en suivant les différents liens du site initial.

Fréquence et profondeur des indexations

La fréquence de l'indexation des pages web d'un site est fonction de plusieurs critères, en particulier sa fréquence de rafraîchissement et sa structure.

La fréquence de l'indexation d'un site peut être quotidienne, hebdomadaire, mensuelle, voire plus espacée encore.

L'indexation d'un site web est également fonction de la profondeur d'exploration. En effet, le robot ne visite pas toujours le même nombre de pages. Là aussi c'est fonction de plusieurs paramètres inhérents au site visité et/ou aux paramètres du robot lors de sa visite.

Le nombre de liens internes suivis au cours de la visite a également une incidence directe sur la profondeur d'exploration.

En principe, une première visite implique une exploration rapide et peu profonde. De même, un site visité quotidiennement ne sera pas visité tous les jours en profondeur.

Indexer un site dans un annuaire MéTéou favorise-t-il l'indexation dans le moteur MéTéOU ?

En principe, non. Les sites soumis dans nos annuaires ne sont pas automatiquement mis sur la liste d'attente du robot.

Toutefois, en plus de l'ajout d'une URL par les webmasters et des liens suivis par le robot, nous pouvons ajouter des sites sur la file d'attente. Ces choix sont fonction de ce que nous trouvons sur le web. Les sites acceptés dans nos annuaires peuvent donc retenir notre attention.

Par ailleurs, nos annuaires sont également visités par notre robot ce qui implique parfois que celui-ci peut visiter n'importe quel site internent référencé dans un annuaire MéTéOu.