Maîtrisez votre budget de crawl BigCommerce, optimisez les facettes, les canonicals et le sitemap. Un audit complet pour améliorer votre SEO technique e-commerce.
| Outil | Fonctionnalités clés | Limites |
|---|---|---|
| Screaming Frog SEO Spider | Crawl complet, détection des canonicals, analyse des facettes, export CSV | Nécessite installation locale, pas d'intégration native BigCommerce |
| Google Search Console | Rapport d'indexation, statistiques d'exploration, gestion des paramètres d'URL | Données limitées aux 90 derniers jours, pas d'analyse des logs |
| SEO Suite (BigCommerce) | Rapports SEO intégrés, gestion des balises méta, alertes d'erreurs | Fonctionnalités avancées payantes, pas d'analyse des logs |
| OnCrawl | Analyse des logs, budget de crawl, recommandations personnalisées | Coût élevé, courbe d'apprentissage |
| Logs Explorer (BigCommerce) | Analyse des logs serveur native, identification des pages sur-explorées | Nécessite un abonnement, données limitées à 30 jours |
| Taille du catalogue | Pages totales estimées | Pages crawlées par mois (Google) | Pages à indexer prioritaires |
|---|---|---|---|
| Petit (moins de 500 produits) | 500 à 2 000 pages | 1 000 à 5 000 | 500 produits + 20 catégories + 10 pages de contenu |
| Moyen (500 à 5 000 produits) | 2 000 à 20 000 pages | 5 000 à 50 000 | 5 000 produits + 50 catégories + 30 pages de contenu |
| Grand (plus de 5 000 produits) | 20 000 à 100 000 pages | 50 000 à 500 000 | 10 000 produits + 100 catégories + 50 pages de contenu |
| Erreur | Cause fréquente | Solution |
|---|---|---|
| Pages de facettes indexées | Absence de meta noindex ou robots.txt | Ajouter noindex sur les URLs de facettes, bloquer dans robots.txt |
| Canonical manquant | Thème non configuré | Ajouter rel="canonical" auto-référençant dans le thème ou via une application SEO |
| Sitemap incluant des pages noindex | Génération automatique non filtrée | Exclure les pages noindex du sitemap via un filtre personnalisé |
| Contenu dupliqué entre catégories | Descriptions identiques | Rédiger des descriptions uniques pour chaque catégorie |
| Pages orphelines (sans lien interne) | Navigation non mise à jour | Ajouter des liens internes depuis les pages catégories ou le blog |
Diagnostic e-commerce
Partagez votre boutique : on repère les leviers SEO, UX et conversion à fort impact, et on vous donne l'ordre dans lequel les activer.
L'audit d'indexation et de crawl BigCommerce consiste à analyser et optimiser la façon dont Google explore et indexe votre site e-commerce, en contrôlant le budget de crawl, les paramètres de facettes, les balises canoniques et la structure du sitemap.
Pour maîtriser votre budget de crawl sur BigCommerce, priorisez les pages produits et catégories clés, bloquez les facettes inutiles via robots.txt ou meta noindex, et consolidez les canonicals sur les URLs maîtresses. Utilisez le sitemap XML pour guider Google vers les pages stratégiques, et surveillez les logs serveur pour détecter les gaspillages. Un audit régulier (tous les trimestres) vous permet de garder le contrôle sur l'exploration et l'indexation, surtout après des changements de catalogue ou de structure.
Cas fréquent observé : des sites BigCommerce avec des milliers de pages de facettes (tailles, couleurs, prix) indexées par Google, ce qui dilue le PageRank et consomme le budget de crawl sur des pages sans valeur ajoutée. En accompagnement, on constate que les équipes marketing négligent souvent la configuration des canonicals, créant des doublons entre les URLs de facettes et les pages catégories principales. Dans les faits, un audit bien mené peut réduire de 60% le nombre de pages crawlées inutilement, améliorant ainsi la vitesse d'indexation des pages produits stratégiques.
Le budget de crawl représente le nombre de pages que Google explore sur votre site lors d'une période donnée. Sur BigCommerce, ce budget est influencé par la taille du site, la fréquence de mise à jour et la qualité des URLs. Un budget mal géré conduit à des pages importantes non explorées ou à une exploration excessive de pages de faible valeur.
Pour évaluer votre budget de crawl, utilisez Google Search Console (rapport 'Statistiques d'exploration') et les logs serveur (via des outils comme Screaming Frog Log File Analyzer). Les principaux facteurs qui consomment du budget sont :
L'objectif est de concentrer le crawl sur les pages à forte valeur : fiches produits, catégories principales, pages de contenu éditorial.
Les facettes sur BigCommerce (filtres par taille, couleur, prix, marque) génèrent automatiquement des URLs paramétrées. Sans contrôle, chaque combinaison de filtres crée une URL unique, ce qui peut multiplier le nombre de pages crawlées par 10 ou 100.
Pour les maîtriser, appliquez ces méthodes :
Exemple concret : un site de vêtements avec 500 produits et 3 filtres (taille, couleur, matière) peut générer jusqu'à 500 x 3 x 3 = 4500 URLs de facettes. En bloquant les facettes, vous réduisez le crawl à 500 pages produits + 10 catégories principales.
Les balises canoniques (rel="canonical") indiquent à Google quelle est l'URL préférée d'une page. Sur BigCommerce, les doublons sont fréquents : URLs avec paramètres, versions www/non-www, HTTP/HTTPS, et pages de facettes.
Pour une configuration robuste :
Un cas typique : une page produit accessible via /categorie/produit et /marque/produit. Le canonical doit être défini sur l'URL principale (celle du sitemap). BigCommerce permet de personnaliser les canonicals via le thème ou des applications SEO.
Le sitemap XML guide Google vers les pages importantes de votre site BigCommerce. Un sitemap mal conçu gaspille le budget de crawl en incluant des pages de faible valeur.
Les bonnes pratiques pour votre sitemap :
Exemple de structure : un sitemap index pointant vers /sitemap_products.xml, /sitemap_categories.xml, /sitemap_pages.xml. Chaque sous-sitemap contient les URLs pertinentes avec leur date de dernière modification.
Les logs serveur enregistrent chaque requête HTTP reçue par votre site. Les analyser vous permet de voir exactement ce que Google explore, combien de fois, et quelles pages sont ignorées.
Étapes pour une analyse efficace :
Un indicateur clé : le ratio pages explorées / pages indexées. Si Google explore 10 000 pages mais n'en indexe que 2 000, c'est le signe d'un gaspillage important. Agissez en bloquant les pages inutiles et en améliorant la qualité du contenu.
Google Search Console offre un outil de gestion des paramètres d'URL qui permet d'indiquer à Google comment traiter les paramètres de vos URLs (comme ?sort=, ?page=, ?color=).
Pour l'utiliser efficacement :
Attention : cette configuration ne remplace pas une gestion technique (robots.txt, meta noindex). Elle est complémentaire. Par exemple, pour un paramètre ?size=, définissez-le comme 'Aucun effet' et bloquez-le dans robots.txt.
Plusieurs erreurs récurrentes nuisent à l'indexation des sites BigCommerce. Les voici avec leurs solutions :
Un audit mensuel avec un outil comme Screaming Frog permet de détecter ces erreurs rapidement.
BigCommerce propose un marketplace d'applications qui facilitent l'audit d'indexation et de crawl. Voici les plus utiles :
Pour un audit approfondi, combinez ces outils : utilisez Screaming Frog pour le crawl technique, Google Search Console pour les données d'indexation, et SEO Suite pour les rapports de conformité.
Un audit d'indexation n'est pas une action ponctuelle. Pour maintenir un budget de crawl maîtrisé, planifiez des audits réguliers :
Pour mesurer les progrès, suivez ces KPIs : nombre de pages crawlées par mois (via Google Search Console), taux d'indexation (pages indexées / pages crawlées), temps moyen entre la publication et l'indexation d'un nouveau produit, et trafic organique des pages principales.
Le budget de crawl est le nombre de pages que Google explore sur votre site lors d'une période donnée. Il est crucial car si Google consacre trop de ressources à des pages de faible valeur (facettes, doublons), il risque de ne pas explorer vos pages produits stratégiques, ce qui retarde leur indexation et nuit à votre SEO.
Utilisez Google Search Console (rapport 'Statistiques d'exploration') pour voir quelles pages sont les plus crawlées. Si vous constatez que des URLs avec des paramètres comme ?size= ou ?color= apparaissent en tête, vos facettes consomment le budget. Vous pouvez aussi analyser les logs serveur avec un outil comme Screaming Frog Log File Analyzer.
Robots.txt empêche Google d'explorer les URLs, mais les liens peuvent encore être suivis (pas de transmission de PageRank). La balise meta noindex permet l'exploration mais empêche l'indexation. Pour les facettes, la meilleure approche est de combiner les deux : robots.txt pour bloquer le crawl, et noindex pour les pages déjà indexées.
Dans BigCommerce, vous pouvez configurer les canonicals via le thème (en modifiant le fichier header.html) ou via une application SEO comme Yoast SEO. Assurez-vous que chaque page produit a un canonical pointant vers son URL principale (sans paramètres). Pour les pages de catégories avec filtres, le canonical doit pointer vers l'URL de base de la catégorie.
Le sitemap généré par BigCommerce inclut par défaut toutes les pages publiques. Pour le filtrer, vous devez utiliser une application SEO (comme SEO Suite) qui permet d'exclure les pages noindex, les facettes, et les pages d'erreur. Vous pouvez aussi créer un sitemap personnalisé via un script si vous avez des compétences techniques.
Un audit mensuel est recommandé pour les sites de taille moyenne à grande (plus de 500 produits). Pour les petits sites, un audit trimestriel suffit. Effectuez également un audit après chaque changement majeur : nouveau thème, migration de catalogue, ajout de filtres, ou modification de la structure d'URL.
Les signes de succès incluent : une réduction du nombre de pages crawlées inutiles (visible dans les logs), une augmentation du taux d'indexation (pages indexées / pages crawlées), une amélioration du temps d'indexation des nouveaux produits (moins de 48 heures), et une hausse du trafic organique sur les pages prioritaires.
Diagnostic e-commerce
Partagez votre boutique : on repère les leviers SEO, UX et conversion à fort impact, et on vous donne l'ordre dans lequel les activer.
Sources : Google Search Central · Google — Core Web Vitals · Shopify — performance.