CrawlHawk.com
Explorez jusqu'à 500 liens uniques GRATUITEMENT. Améliorez pour obtenir plus de crédits et de fonctionnalités.
Choisissez votre type de crawl
Explorez n'importe quel site web. Générez des sitemaps. Extrayez les données produit.
Trois workflows. Un pack de crédits. Zéro abonnement.
CrawlHawk est un outil de données web basé sur des crédits qui combine trois flux de travail en un seul compte : un crawler web pour les audits de site et la découverte de liens, un générateur de sitemap XML prêt pour Google, et un extracteur de données produit alimenté par IA pour les pages e-commerce. Il n'y a pas d'abonnement, les crédits n'expirent jamais, et chaque compte comprend toutes les fonctionnalités. Commencez gratuitement avec 500 URL et passez à la version supérieure uniquement si vous avez besoin de plus. Construit et exploité dans l'UE conformément au RGPD.
Trois flux de travail en un outil
Générateur de sitemap XML
Sitemaps prêts pour Google à partir de n'importe quel domaine — en une seule exploration.
CrawlHawk explore votre domaine (ou une portée sélectionnée), identifie chaque URL indexable et génère un plan de site XML prêt pour les moteurs de recherche selon le protocole sitemaps.org. Le résultat est accepté par Google Search Console, Bing Webmaster Tools, Yandex Webmaster, et tous les moteurs de recherche majeurs sans modification.
Utilisez-le pour les lancements de nouveaux sites (pour que les moteurs de recherche découvrent rapidement vos pages), les reconstructions de sitemap après migration lorsque les structures d'URL changent, les mises à jour de catalogues e-commerce, et la maintenance SEO continue. CrawlHawk respecte les balises meta noindex, les URL canoniques, et les directives robots.txt, et divise automatiquement les sitemaps dépassant la limite de 50 000 URL en un fichier d'index de sitemap. Pas d'installation, pas de plugin, pas de frais récurrents — payez seulement pour les URLs que vous explorez, avec des crédits qui n'expirent jamais.
Explorateur de liens personnalisés
Audits de liens granulaires, configurés à votre façon.
Choisissez la portée (domaine complet, domaine principal uniquement, sous-domaine unique, chemin d'URL ou page unique) et les types de liens que vous souhaitez (internes, externes, cassés, orphelins, fichier, image). Pour chaque lien découvert, CrawlHawk renvoie l'URL source, l'URL cible, le texte d'ancrage, le code d'état HTTP, le type de lien et les attributs rel (nofollow, sponsored, ugc, noopener).
Exporter en CSV (pour tableurs), JSON (pour utilisation programmée), Excel XLSX (pour rapports), HTML (pour révision visuelle), PDF (pour livrables clients) ou format de plan de site XML. Utilisations courantes incluent les audits de site SEO, la maintenance des liens cassés, les analyses de liens internes, les inventaires de liens sortants et l'analyse de la structure des concurrents. Le rendu JavaScript pour le contenu chargé dynamiquement est pris en charge à un coût de crédit additionnel par URL.
Scraper de Produits IA
Données structurées de produit à partir de n'importe quelle page e-commerce — pas de recette nécessaire.
Dirigez CrawlHawk vers une page produit, une catégorie ou un catalogue entier. Un modèle IA lit la page comme un humain et extrait les titres, descriptions complètes, prix (y compris les devises et prix de vente), SKU, marques, données de variantes (tailles, couleurs, configurations), galeries d'images, dimensions, poids, matériaux, spécifications, et statut des stocks — sans règles XPath manuelles, recettes spécifiques ou configuration de modèles.
Le même scraper fonctionne sur les boutiques Shopify, WooCommerce, Magento, BigCommerce, les sites sur mesure, et la plupart des grandes marketplaces. Le résultat est livré en XLSX, JSON ou CSV — chaque produit est une ligne avec des colonnes d'attributs cohérentes, prêt à être importé directement dans Shopify, WooCommerce, votre ERP ou tout outil PIM. Les pages produit rendues en JavaScript sont prises en charge avec un coût de crédit supplémentaire par URL.
Options de crawl
CrawlHawk prend en charge cinq modes de portée, vous permettant de cibler précisément la partie du web qui vous intéresse, d'un domaine entier à une seule page. Tous les modes fonctionnent avec chaque type de lien et format de sortie ; la portée contrôle uniquement l'ampleur de l'exploration.
Explorer tout le domaine
Toutes les pages internes accessibles à partir d'une URL de départ.
Soumettez une URL et CrawlHawk découvre chaque page interne du même domaine — à travers tous les chemins, sections et URLs accessibles. Le crawl de domaine complet est idéal pour des audits complets, la génération de sitemaps XML pour des lancements et une cartographie complète des liens internes. Il fournit un inventaire complet de la structure crawlable de votre site avec chaque URL, la page où elle a été découverte et sa profondeur de crawl.
Pour les très grandes plateformes avec des millions d'URL (eBay, Amazon, Wikipedia, YouTube), utilisez un périmètre plus restreint ou limitez-vous à des chemins URL spécifiques — l'exploration de domaine complet à cette échelle consomme beaucoup de crédits et peut être restreinte par les protections du site cible. Pour les sites de taille moyenne comptant moins de 50 000 pages, le mode domaine complet est généralement le bon choix pour un travail SEO approfondi, la génération de sitemaps et les audits de liens.
Domaine principal uniquement
Explorer un domaine — ignorer les sous-domaines.
Quand un site utilise des sous-domaines pour des propriétés distinctes (blog.example.com, shop.example.com, docs.example.com, support.example.com), le mode Domaine principal uniquement explore seulement example.com et exclut tous les sous-domaines. Le crawler suit les liens internes au sein du domaine principal mais ignore tout lien menant à un sous-domaine.
Ceci est utile lorsque votre site principal, votre blog, votre boutique et votre centre d'assistance fonctionnent comme des entités distinctes, chacune avec sa propre stratégie de contenu, son plan de site et ses priorités SEO. Explorez-les indépendamment en passages distincts pour garder des résultats ciblés. Domaine Principal Seulement est également le bon choix lorsque vous avez besoin d’un plan de site incluant uniquement les URL de votre site principal, sans les URL de sous-domaines encombrant l’index.
Sous-domaine uniquement
Explorez un sous-domaine isolément.
Ciblez un seul sous-domaine — votre blog (blog.example.com), votre boutique (shop.example.com), votre centre d'aide (support.example.com), votre portail développeur (developers.example.com), ou tout autre sous-domaine — sans inclure le domaine principal ni aucun sous-domaine frère. Le crawler suit les liens internes uniquement au sein du sous-domaine spécifié.
Utile pour les audits spécifiques aux propriétés où chaque sous-domaine a sa propre stratégie SEO et nécessite un traitement séparé, pour générer des sitemaps ciblés par propriété, ou pour auditer un sous-domaine que vous venez de lancer ou de migrer. Associez Subdomain Only avec la détection de liens cassés pour identifier les problèmes de liens après migration, ou avec l'extraction de liens d'images pour inventorier les ressources visuelles d'un sous-domaine spécifique.
Chemin unique
Explorer une section spécifique d'un site.
Restreignez l'analyse à un seul chemin d'URL — par exemple, example.com/products/, example.com/blog/ ou example.com/docs/. CrawlHawk découvre uniquement les liens au sein de ce chemin et ignore tout le reste. Le robot d'exploration suit les liens internes qui commencent par le préfixe du chemin spécifié ; les liens vers d'autres sections du même domaine ne sont pas suivis.
Idéal pour les audits de produits au niveau des catégories (en ne parcourant que la section /products/ d'une boutique en ligne), les crawls de documentation (juste l'arborescence /docs/), les révisions de sections de blog, ou l'analyse d'une partie d'un site très vaste sans le traiter en entier. Les crawls basés sur des chemins concentrent la consommation de crédits et limitent les résultats à ce dont vous avez vraiment besoin.
Page unique
Extraire tous les liens d'une URL.
Explore une seule URL et capture tous les liens de cette page — internes, externes, fichiers, images, cassés — y compris les liens rendus dynamiquement par JavaScript. Retourne une liste précise des liens sortants d'une URL avec le texte d'ancrage complet, l'URL cible, le statut HTTP et les attributs de lien.
Parfait pour des vérifications ponctuelles d'URL, des audits de pages d'accueil concurrentes (à quoi renvoie la page d'accueil de votre concurrent ?), des analyses de pages produits individuelles, des vérifications de liens cassés sur une page à forte valeur ajoutée ou pour extraire des références sortantes d'un article long. Le mode page unique est l'option la plus économique en crédits pour une analyse ciblée et précise — une URL, un crédit.
Types de liens à collecter
Choisissez les catégories de liens que CrawlHawk rapporte. Combinez autant que vous le souhaitez dans un seul crawl — chaque type de lien est inclus dans chaque plan, et un crawl peut renvoyer n'importe quelle combinaison de liens internes, externes, brisés, orphelins, fichiers et images dans un ensemble de données consolidé.
Liens internes
Cartographiez la structure des liens dans votre domaine.
Les liens internes connectent les pages au sein du même domaine. CrawlHawk signale chaque lien interne trouvé lors du crawl, avec l'URL source, l'URL cible, le texte d'ancrage, le code d'état HTTP et les attributs de lien (rel=nofollow, sponsored, ugc). Les données de liens internes sont la base du SEO technique.
Utilisez les données pour identifier les pages importantes sous-liées (pages avec trop peu de liens internes entrants), pour planifier des améliorations de liaison interne (quels textes d’ancrage pointent vers quelles pages), pour vérifier que les pages de destination clés sont accessibles en 2-3 clics depuis la page d'accueil, pour répartir efficacement le jus de lien sur votre site, et pour planifier des architectures en silo de contenu qui regroupent les pages par thématique.
Liens brisés
Détecter les 404, erreurs 5xx et autres cibles brisées.
Rapporte chaque lien renvoyant un code d'état HTTP 4xx ou 5xx dans le périmètre exploré. Chaque lien cassé est enregistré avec sa page source (où le lien apparaît), l'URL cible (vers laquelle il essaie de lier), le code d'état HTTP exact (404, 500, 503, etc.), et le contexte du lien (texte d'ancrage et texte environnant) — afin que vous puissiez corriger les problèmes rapidement.
Essentiel pour la maintenance SEO technique (les liens cassés nuisent aux classements et à l'expérience utilisateur), le nettoyage post-migration (lorsque les structures URL changent, les anciens liens internes cassent), la vérification des liens affiliés (les revenus de commission dépendent des liens sortants fonctionnels) et les contrôles réguliers de santé du site. CrawlHawk distingue entre erreurs client (4xx — page disparue ou déplacée) et erreurs serveur (5xx — pannes temporaires qui peuvent se résoudre lors d'une nouvelle tentative).
Liens externes
Listez chaque lien sortant de votre site.
Identifie chaque lien pointant vers un domaine différent. Rapporte la page source, l'URL cible, le texte d'ancre complet et les attributs rel (nofollow, sponsored, ugc, noopener). L'inventaire complet des liens externes vous aide à comprendre vers quoi votre site renvoie et comment ces liens sont attribués.
Utile pour les audits de liens sortants (quels domaines votre site envoie-t-il du trafic ?), les revues de sécurité de marque (liez-vous à des sites que vous préférez éviter ?), identifier le trafic sortant involontaire, vérifier la conformité des attributs de lien pour le contenu sponsorisé ou affilié (la FTC exige une divulgation ; Google exige rel=sponsored pour les liens payants), et détecter les pages compromises avec des liens externes injectés par des logiciels malveillants ou du contenu piraté.
Pages orphelines
Trouver des pages sans liens internes entrants.
Des pages orphelines existent sur votre site sans liens internes pointant vers elles, les rendant invisibles pour la plupart des crawlers et difficiles à découvrir pour les utilisateurs et les moteurs de recherche. CrawlHawk recoupe votre plan de site ou ensemble d'URL connus avec le graphe des liens internes explorés pour révéler les pages existantes mais non liées à partir de n'importe quel endroit du site.
Essentiel pour les audits de couverture de site (chaque page importante est-elle réellement accessible?), l'exhaustivité SEO (Google peut ne pas découvrir ou classer efficacement les pages orphelines), et la vérification post-migration (les migrations créent souvent des orphelines lorsque les redirections échouent). Les causes courantes d'orphelins incluent d'anciennes pages d'atterrissage, des pages de catégorie obsolètes, des variantes de tests A/B laissées en production, et du contenu publié sans être lié à la navigation ou aux hubs.
Liens de fichiers
Extraire des liens vers des PDF, des documents et des ressources téléchargeables.
Capture chaque lien pointant vers un fichier téléchargeable — PDF, DOCX, XLSX, ZIP, MP4, MP3, et toute autre ressource non-HTML. Rapporte la page source (où le lien apparaît), l'URL du fichier, le type et l'extension du fichier, et le contexte du lien (texte d'ancre et texte environnant).
Utile pour les audits de bibliothèque de ressources (quels PDF et livres blancs votre site propose-t-il et d'où sont-ils liés ?), les revues d'accessibilité des documents, la détection des fichiers cassés (liens vers des fichiers qui renvoient une erreur 404), les vérifications RGPD ou de conformité (savoir exactement quels documents sont liés publiquement) et le SEO des sites riches en fichiers avec téléchargements, fiches techniques, brochures ou archives multimédias. Souvent associé au vérificateur de liens cassés pour s'assurer que tous les fichiers liés sont toujours disponibles.
Liens d'images
Trouvez chaque URL d'image sur un site.
Extrait chaque URL de source d'image dans la portée explorée, avec la page source où l'image est intégrée, le texte alternatif (ou son absence), les dimensions si disponibles, et le format de fichier (JPG, PNG, WebP, AVIF, SVG, GIF). Renvoie un inventaire complet des images de la portée explorée.
Essentiel pour les audits de SEO d'image (les images sont-elles optimisées, de taille adéquate, et utilisent-elles du texte alternatif pour l'accessibilité et la recherche ?), détection des images cassées (les images qui ne se chargent pas nuisent à l'expérience utilisateur), revues de couverture de texte alternatif (quelles images manquent d'attributs alt, requis pour la conformité en accessibilité), migrations CDN (vous avez besoin d'un inventaire complet des images avant de déplacer des actifs), et audits de contenu visuel sur votre site ou les sites concurrents.
What CrawlHawk Is
CrawlHawk est un service d'extraction de données web basé sur des crédits, opéré par New Horizon Platforms Kft. à Szeged, Hongrie. Le service combine un robot d'indexation, un générateur de sitemap XML et un extracteur de données produits alimenté par IA dans une interface unique. Pas d'abonnement mensuel — les utilisateurs achètent des packs de crédits qui n'expirent jamais et débloquent toutes les fonctionnalités dès le premier jour. Le plan gratuit inclut 500 URLs sans carte de crédit. L'hébergement et les opérations sont basés dans l'Union européenne, avec un traitement conforme au RGPD et une divulgation transparente des fournisseurs.
Conçu pour
- Professionnels SEO exécuter des audits de site, vérifier les liens cassés et revoir le maillage interne
- Équipes e-commerce importation des catalogues produits et suivi des données des concurrents
- Propriétaires de boutiques en ligne enrichissement des données produit avec extraction IA sur les sites fournisseurs
- Analystes de données collecte de recherche structurée sur le marché et les produits
- Créateurs de contenu et affiliés marketing compilation d'informations produit à grande échelle
- Consultants SEO techniques générer des sitemaps et identifier les pages orphelines
aucune carte de crédit requise
