Le budget de crawl, c'est vraiment un problème pour les sites moyens?
Plus qu'on ne le croit. Un site éducatif avec 15 000 pages de cours et ressources peut sembler modeste, mais si ta structure génère 50 000 URLs à cause des filtres et paramètres, Googlebot va prioriser. J'ai analysé les logs d'un client: sur 12 000 pages de contenu pédagogique, seulement 4 800 étaient crawlées mensuellement. Les autres? Googlebot les ignorait.
Qu'est-ce qui consomme inutilement ce budget?
Les pages de pagination mal gérées. Un site avait 180 pages de résultats pour ses cours, toutes indexables. Googlebot passait 40% de son temps là-dessus au lieu des contenus principaux. Les URLs de session aussi. J'ai vu des milliers de variations d'une même page à cause d'identifiants de session dans l'URL. Chaque variante consomme du crawl.
Comment mesures-tu précisément l'impact?
Les fichiers logs serveur. J'importe les logs dans Screaming Frog Log File Analyser ou directement dans BigQuery pour les gros volumes. Tu vois exactement quelles pages Googlebot visite, à quelle fréquence, et combien de temps il passe. J'ai découvert qu'un client avait 3 000 pages orphelines encore crawlées mais supprimées du sitemap depuis des mois.
Quelles solutions concrètes recommandes-tu?
Commence par bloquer via robots.txt tout ce qui n'a aucune valeur SEO: paramètres de tri, filtres multiples, pages de recherche interne. Utilise rel=canonical pour consolider les variations légitimes. Pour la pagination, passe à un système de chargement infini avec fallback crawlable, ou implémente correctement rel=next/prev même si Google dit ne plus les utiliser officiellement.
Les redirections impactent le budget?
Énormément. Chaque chaîne de redirection compte double. Une page qui redirige trois fois avant d'atteindre la destination finale? Googlebot compte quatre requêtes. Nettoie tes redirections, rends-les directes, et surveille les 404 qui génèrent du crawl inutile.