Le budget crawl

Le budget de crawl est un concept allouant un volume d’URLs à parcourir en un temps donné. Plus ce volume est important plus le site a d’opportunité de mieux ranker ou de positionner de nouvelles pages. En effet, Googlebot ne pourra pas explorer d’un seul coup toutes les pages d’un site web. Il va y passer et revenir afin de mieux explorer les pages d’un site web au mieux. Le budget de crawl est en effet la combinaison de deux facteurs dont le taux limite de crawl et la demande de crawl.

Durant chaque opération, il prendra compte de plusieurs éléments à savoir les capacités du serveur, la profondeur et la fréquence de mise à jour. En effet, si un site web est mis à jour régulièrement, il sera aussi plus crawlé qu’un site statique. D’un autre côté, un site web qui propose un contenu de très bonne qualité sera aussi mieux crawlé.