Individueller Link-Crawler

Der Custom Link Crawler von CrawlHawk scannt jede Website nach Ihren Vorgaben und liefert einen strukturierten Datensatz von Links – mit vollständiger Konfigurierbarkeit von Umfang, Linktypen und Ausgabeformat. Nutzen Sie ihn für SEO-Site-Audits, defekten Link-Wartung, die Überprüfung interner Verlinkungen, das Inventar ausgehender Links und jede Link-Analyse-Aufgabe, die mehr verlangt als ein Sitemap-Generator bieten kann.

Was macht der Custom Link Crawler?

Während sich der XML-Sitemap-Generator auf die Erstellung einer Sitemap-Datei konzentriert, liefert der Custom Link Crawler Rohlinkdaten, die für Analysen optimiert sind. Für jeden entdeckten Link erhalten Sie die Quell-URL, Ziel-URL, Ankertext, HTTP-Statuscode, Linktyp (intern, extern, Datei, Bild), Rel-Attribute (nofollow, gesponsert, ugc) und die Tiefe der Crawl-Position. Das Ergebnis ist ein herunterladbarer Datensatz im CSV-, JSON-, Excel-, HTML- oder PDF-Format, bereit für Tabellenkalkulationen, BI-Tools oder Ihre eigene Pipeline.

Konfigurierbarer Umfang

Wählen Sie den Umfang, der zu Ihrer Aufgabe passt: Gesamte Domain, um eine gesamte Seite zu crawlen, Nur Hauptdomain, um Subdomains auszuschließen, Nur Subdomain, um sich auf eine Subdomain zu konzentrieren, Einzelner Pfad, um sich auf einen Abschnitt zu beschränken, oder Einzelne Seite, um nur eine URL zu extrahieren. Jeder Umfang wird auf seiner eigenen Seite ausführlich beschrieben.

Welche Linktypen können gesammelt werden?

Kombinieren Sie beliebige der sechs Linkkategorien innerhalb eines Crawls: Interne Links (innerhalb Ihrer Domain), Externe Links (ausgehend zu anderen Domains), Defekte Links (4xx/5xx-Fehler), Verwaiste Seiten (Seiten ohne eingehenden internen Link), Datei-Links (PDFs, Downloads, Dokumente) und Bild-Links (jede Bildquellen-URL). Sie zahlen nur für das, was Sie crawlen; alle Linktypen sind in jedem Plan enthalten.

Exportformate

Exportieren Sie in CSV (für Tabellenkalkulationen), JSON (für programmatische Nutzung), Excel XLSX (für Berichte), HTML (für visuelle Prüfung), PDF (für Kundendokumente) oder im XML-Sitemap-Format (für Suchmaschinen). Alle Formate enthalten denselben Datensatz – wählen Sie das, was zu Ihrem Workflow passt.

Häufige Anwendungsfälle

SEO-Experten nutzen den Custom Link Crawler für Site-Audits, technische SEO-Überprüfungen, Analysen interner Verlinkungen, die Wartung defekter Links und die Überprüfung von Content-Silos. E-Commerce-Teams crawlen die Produktstrukturen von Mitbewerbern und analysieren die Kategorienavigation. Content-Teams überprüfen externe Links auf Markensicherheit. Datenteams erstellen Linkdiagramme für weitere Analysen. Das Tool ist bewusst von allgemeinem Nutzen.

JavaScript-lastige Seiten

Einige moderne Seiten (Amazon, YouTube, LinkedIn) laden Inhalte dynamisch über JavaScript. Der Custom Link Crawler kann so konfiguriert werden, dass er JavaScript rendert, sodass auch clientseitig generierte Links erfasst werden. Die JavaScript-Darstellung nutzt zusätzliche Credits pro URL – genaue Beträge werden vor dem Crawl angezeigt.

Preise und kostenloses Angebot

Credit-Pakete beginnen klein. Ein Credit pro gecrawlter URL, mit zusätzlichen Credits pro URL für JavaScript-Rendering und KI-Extraktion. Das kostenlose Angebot deckt 500 URLs ohne Kreditkarte ab. Credits verfallen nicht – siehe die Preisübersicht.

→ Führen Sie einen benutzerdefinierten Crawl durch · Möchten Sie eine Sitemap-Ausgabe? Verwenden Sie den XML-Sitemap-Generator

Häufig gestellte Fragen

Was ist der Unterschied zwischen diesem und dem XML-Sitemap-Generator?

Der XML-Sitemap-Generator erstellt eine Sitemap-Datei für Suchmaschinen. Der Custom Link Crawler liefert Rohlinkdaten mit vollständigen Attributen für Analysen. Beide nutzen dasselbe zugrundeliegende Crawlverfahren – der Unterschied liegt in der Verwendung des Outputs.

Kann ich mehrere Linktypen in einem Crawl kombinieren?

Ja. Wählen Sie beliebige Kombinationen aus internen Links, externen Links, defekten Links, verwaisten Seiten, Datei-Links und Bild-Links. Alle werden in einem konsolidierten Datensatz gemeldet, und jeder Typ ist in jedem Plan enthalten.

Wird robots.txt befolgt?

Standardmäßig ja. CrawlHawk beachtet robots.txt, Nutzungsbedingungen und andere Zugriffsrichtlinien der Zielwebsite. Für autorisierte Crawls, die eine Umgehung erfordern (eigene Seiten, Seiten mit schriftlicher Zustimmung), siehe die Richtlinie zur akzeptablen Nutzung.

Wie werden Credits genutzt?

Ein Credit pro gecrawlter URL. JavaScript-Rendering und AI-Extraktionen nutzen zusätzliche Credits pro URL – genaue Beträge werden vor dem Start des Crawls angezeigt. Der kostenlose Bereich deckt 500 URLs ab.

Kann ich wiederkehrende Crawls planen?

Ja. Crawls können so geplant werden, dass sie automatisch in dem von Ihnen gewählten Intervall ausgeführt werden, oder manuell von Ihrem Konto oder über die API initiiert werden. Geplante Crawls verbrauchen pro Lauf Credits genauso wie manuelle Crawls.

Gibt es eine API?

Ja — API-Zugriff ist verfügbar. Entwickler erhalten ein separates API-Dokumentationsportal, das über die Hauptnavigation zugänglich ist.

Beginnen Sie mit dem Crawlen – 500 URLs kostenlos, keine Kreditkarte erforderlich →