Crawler de liens personnalisés

Le Crawler de liens personnalisés de CrawlHawk analyse tout site web selon vos instructions et restitue un ensemble structuré de données de liens — avec une configurabilité totale sur l'étendue, les types de liens et le format de sortie. Utilisez-le pour les audits de sites SEO, la maintenance des liens cassés, les revues de liens internes, les inventaires de liens sortants, et toute tâche d'analyse de liens nécessitant plus qu'un générateur de sitemap peut offrir.

Que fait le Crawler de liens personnalisés ?

Tandis que le Générateur de Sitemap XML se concentre sur la production d'un fichier sitemap, le Crawler de liens personnalisés fournit des données brutes de liens optimisées pour l'analyse. Pour chaque lien découvert, vous recevez l'URL source, l'URL cible, le texte d'ancrage, le code de statut HTTP, le type de lien (interne, externe, fichier, image), les attributs rel (nofollow, sponsorisé, ugc) et la position de profondeur de crawl. Le résultat est un ensemble de données téléchargeable aux formats CSV, JSON, Excel, HTML ou PDF prêt pour les tableurs, les outils BI, ou vos propres pipelines.

Comment configurer l'étendue ?

Choisissez l'étendue correspondant à votre tâche : Domaine Complet pour explorer tout le site, Domaine Principal Seulement pour exclure les sous-domaines, Sous-domaine Seulement pour se concentrer sur un sous-domaine, Chemin Unique pour se restreindre à une section, ou Page Unique pour extraire à partir d'une seule URL. Chaque étendue est décrite en détail sur sa propre page.

Quels types de liens pouvez-vous collecter ?

Combinez n'importe lequel des six types de liens dans une seule exploration : Liens Internes (au sein de votre domaine), Liens Externes (vers d'autres domaines), Liens Cassés (erreurs 4xx / 5xx), Pages Orphelines (pages sans lien interne entrant), Liens de Fichiers (PDFs, téléchargements, documents), et Liens d'Image (chaque URL source d'image). Vous ne payez que pour ce que vous explorez ; tous les types de liens sont inclus dans chaque plan.

Formats d'exportation

Exportez en format CSV (pour les tableurs), JSON (pour usage programmatique), Excel XLSX (pour les rapports), HTML (pour revue visuelle), PDF (pour les livrables clients), ou format de sitemap XML (pour les moteurs de recherche). Tous les formats incluent le même ensemble de données — choisissez celui qui s'intègre à votre flux de travail en aval.

Quels sont les cas d'utilisation courants ?

Les professionnels du SEO utilisent le Crawler de liens personnalisés pour les audits de sites, les revues SEO techniques, l'analyse des liens internes, la maintenance des Liens Cassés, et la vérification des silos de contenu. Les équipes e-commerce explorent les structures de produits des concurrents et analysent la navigation par catégorie. Les équipes de contenu auditent les Liens Externes pour la sécurité de la marque. Les équipes de données construisent des graphes de liens pour une analyse plus approfondie. L'outil est volontairement généraliste.

Sites lourds en JavaScript

Certaines sites modernes (Amazon, YouTube, LinkedIn) chargent le contenu dynamiquement via JavaScript. Le Crawler de liens personnalisés peut être configuré pour rendre JavaScript afin que les liens générés côté client soient également capturés. Le rendu JavaScript utilise des crédits supplémentaires par URL — les montants exacts sont indiqués avant le début de l'exploration.

Tarification et offre gratuite

Les packs de crédits commencent modestement. Un crédit par URL explorée, avec un coût supplémentaire pour le rendu JavaScript et l'extraction AI par URL. L'offre gratuite couvre 500 URLs sans carte de crédit. Les crédits n'expirent jamais — voir la page Tarification.

→ Lancer une exploration personnalisée · Besoin d'un sitemap ? Utilisez le Générateur de Sitemap XML

Questions Fréquemment Posées

Quelle est la différence entre ceci et le Générateur de Sitemap XML ?

Le Générateur de Sitemap XML produit un fichier sitemap pour les moteurs de recherche. Le Crawler de liens personnalisés fournit des données brutes de liens avec attributs complets pour l'analyse. Les deux utilisent la même exploration sous-jacente — la différence réside dans ce que vous faites du résultat.

Puis-je combiner plusieurs types de liens dans une même exploration ?

Oui. Sélectionnez n'importe quelle combinaison de Liens Internes, Liens Externes, Liens Cassés, Pages Orphelines, Liens de Fichiers, et Liens d'Image. Tous sont rapportés dans un ensemble de données consolidé, et chaque type est inclus dans chaque plan.

Respecte-t-il le fichier robots.txt ?

Par défaut, oui. CrawlHawk respecte robots.txt, les conditions d'utilisation et autres politiques d'accès du site cible. Pour un crawl autorisé nécessitant un dépassement (vos propres sites, sites avec permission écrite), voir la Politique d'Utilisation Acceptable.

Comment les crédits sont-ils consommés ?

Un crédit par URL explorée. Les modes de rendu JavaScript et d'extraction AI utilisent des crédits supplémentaires par URL — les montants exacts sont indiqués avant le début de l'exploration. L'offre gratuite couvre 500 URLs.

Puis-je planifier des explorations récurrentes ?

Oui. Les explorations peuvent être planifiées pour s'exécuter automatiquement à l'intervalle de votre choix, ou initiées manuellement depuis votre compte ou via l'API. Les explorations planifiées consomment des crédits par exécution de la même manière que les explorations manuelles.

Y a-t-il une API ?

Oui — l'accès à l'API est disponible. Les développeurs disposent d'un portail de documentation API séparé accessible depuis la navigation principale.

Lancer l'exploration — 500 URLs gratuites, pas de carte nécessaire →