Périmètre de Crawl expliqué : Domaine entier, sous-domaine, chemin ou page unique ?

Chaque crawl avec CrawlHawk commence par une décision : quelle quantité du site faut-il crawler. Ce guide explique les cinq options de périmètre, quand les utiliser, et comment elles affectent la consommation de crédits — pour que vous crawler exactement ce dont vous avez besoin, et pas plus. 500 URLs gratuites, sans inscription.

Pourquoi le périmètre est la première décision

Le périmètre définit les limites du crawl : quelles URLs le crawler est autorisé à visiter en suivant les liens depuis votre URL de départ. Cela compte doublement. Exhaustivité : un périmètre trop restreint omet les pages que vous vouliez auditer. Coût : un périmètre trop large crawl des pages dont vous n'avez pas besoin — et comme chaque URL consomme des crédits, le périmètre est aussi votre contrôle budgétaire. Le bon périmètre dépend de la question à laquelle vous répondez : "auditer tout" est différent de "lister les images sur cette page".

Domaine Entier — Crawler l'ensemble du site web

Le périmètre le plus large : toutes les pages internes accessibles depuis l'URL de départ, couvrant le domaine principal et ses sous-domaines (www, blog, boutique, docs). Utilisez-le pour des audits de site complet, génération complète de sitemap XML, inventaires de migration, et toute tâche où "avons-nous oublié quelque chose ?" est à éviter. C'est le choix par défaut pour les vérifications de liens brisés et la détection de pages orphelines, où l'exhaustivité est nécessaire. Note sur les crédits : sur de grands sites, c'est naturellement le périmètre le plus gourmand en crédits — vérifiez l'estimation du nombre de pages avant de commencer, ou restreignez à un chemin d'abord.

Domain Principal Seulement — Exclure les Sous-domaines

Crawl toutes les pages sur le domaine principal mais s'arrête aux frontières des sous-domaines : example.com est crawlé, blog.example.com et shop.example.com ne le sont pas. Utilisez-le lorsque les sous-domaines sont des préoccupations séparées — un portail de documentation d'une équipe différente, une boutique hébergée par un tiers, un sous-domaine de test — et que vous voulez que l'audit reflète uniquement le site de base. C'est aussi le choix pratique lorsqu'un sous-domaine est énorme (un forum, un wiki) et dominerait la consommation de crédits sans être pertinent pour la tâche.

Sous-domaine Uniquement — Un Sous-domaine, Rien de Plus

L'inverse : crawl un seul sous-domaine (blog.example.com) et restez à l'intérieur. Utilisez-le pour auditer une propriété en isolation — le maillage interne du blog, les liens brisés du portail de documentation, les URLs de produits de la boutique — sans toucher au reste des propriétés web de l'organisation. Typique pour des équipes qui possèdent un sous-domaine d'un site d'entreprise plus large et n'ont de mandat (et de budget crédits) que pour leur propre zone.

Chemin Unique — Une Section du Site

Restreint le crawl aux URLs sous un préfixe de chemin, comme /blog/ ou /produits/. C'est le cheval de bataille pour l'efficacité de crédits sur les grands sites : un marché de 100 000 pages n'a pas besoin d'un crawl complet pour auditer son blog de 2 000 pages. Utilisez-le pour des audits au niveau section, l'extraction de produits au niveau catégorie produit AI, et les travaux itératifs — corrigez une section, recrawlez le même chemin à peu de frais, vérifiez, passez à la suivante. C'est aussi le moyen recommandé pour échantillonner un site très grand avant de s'engager dans un crawl de domaine entier.

Page Unique — Une URL Seulement

Le périmètre le plus restreint : exactement une URL, sans suivi de liens. Utilisez-le quand la question concerne une page, pas un site — chaque image sur cette page, chaque lien sortant dans cet article, les données du produit sur cette annonce. Une page standard coûte un crédit, les résultats sont obtenus en quelques secondes, et c'est le moyen le plus rapide pour tester à quoi ressemble le résultat de CrawlHawk avant d'exécuter quelque chose de plus grand.

Quel périmètre devrais-je choisir ? — Référence Rapide

Périmètre et Crédits

Une URL standard coûte un crédit, dans chaque périmètre — le périmètre contrôle simplement combien d'URLs le crawl peut atteindre. Les modes avancés coûtent plus par URL (pages rendues en JavaScript ou protégées, et l'extraction de produits AI consomme des crédits supplémentaires) ; le coût exact est toujours affiché avant le démarrage du crawl. Le niveau gratuit couvre 500 URLs par crawl quel que soit le périmètre, couvrant confortablement des pages uniques, chemins et petits sites. Pour des crawls plus grands, les packs de crédits sont payables une fois et les crédits n'expirent jamais, donc un audit de domaine agressif ce mois-ci ne force pas un abonnement pour les mois calmes suivants. Consultez Tarifs pour les taux actuels.

Questions Fréquemment Posées

Comment crawler un site entier ?

Choisissez le périmètre Domaine Entier et entrez l'URL de la page d'accueil du site. CrawlHawk suit chaque lien interne, y compris à travers les sous-domaines, jusqu'à ce que toutes les pages accessibles soient couvertes — jusqu'à et au-delà de 50 000 URLs.

Puis-je crawler juste un sous-domaine ?

Oui — le périmètre Sous-domaine Uniquement crawl un seul sous-domaine (par exemple blog.example.com) et ne le quitte jamais.

Quelle est la différence entre Domaine Entier et Domain Principal Seulement ?

Domaine Entier inclut les sous-domaines (blog., shop., docs.) ; Domain Principal Seulement s'arrête à la frontière du sous-domaine et crawl uniquement le domaine principal. Si vos sous-domaines sont des systèmes séparés, Domain Principal Seulement les exclut de votre rapport et de votre facture de crédits.

Un périmètre plus restreint coûte-t-il moins de crédits ?

Indirectement, oui — les crédits sont consommés par URL crawlée dans chaque périmètre, donc un périmètre plus restreint atteint moins d'URLs et coûte moins. Une page standard coûte un crédit ; un chemin coûte autant de crédits que de pages sous celui-ci, les modes avancés (rendu, extraction AI) consommant plus par URL.

Puis-je changer de périmètre après avoir commencé un crawl ?

Chaque crawl s'exécute avec le périmètre avec lequel il a été commencé. Pour élargir ou restreindre, démarrez un nouveau crawl — restreindre d'abord est l'ordre sûr sur les sites inconnus : échantillonnez un chemin, puis engagez-vous sur le domaine entier.

Quel périmètre utilise le Générateur de Sitemap XML ?

Votre choix — un sitemap peut couvrir le domaine entier, uniquement le domaine principal, un sous-domaine ou un chemin, selon la propriété pour laquelle le sitemap est destiné. Domaine Entier est le choix par défaut pour un sitemap complet.

Commencez le crawl — 500 URLs gratuites, pas de carte de crédit nécessaire →

Outils connexes : Crawler de Liens Personnalisé · Générateur de Sitemap XML · Vérificateur de Liens Brisés · Extracteur de Liens d'Images