Crawl-Umfang Erklärt: Vollständige Domain, Subdomain, Pfad oder Einzelseite?

Jeder Crawl bei CrawlHawk beginnt mit einer Entscheidung: Wie viel der Website soll gecrawlt werden? Dieser Leitfaden erklärt die fünf Umfangsoptionen, wann man welche verwendet und wie jede die Credit-Nutzung beeinflusst — damit Sie genau das crawlen, was Sie benötigen. 500 URLs kostenlos, keine Anmeldung erforderlich.

Warum Umfang die Erste Entscheidung ist

Der Umfang definiert die Grenze des Crawls: welche URLs der Crawler bei der Verfolgung von Links von Ihrer Start-URL besuchen darf. Dies ist wichtig aus zwei Gründen. Vollständigkeit: Ein zu enger Umfang verpasst Seiten, die geprüft werden sollten. Kosten: Ein zu weiter Umfang crawlt unnötige Seiten, was Credits verbraucht, denn jede URL kostet Credits. Der richtige Umfang hängt von der Frage ab: "alles prüfen" ist ein anderer Crawl als "die Bilder auf dieser einen Seite auflisten".

Vollständige Domain — Die gesamte Website crawlen

Der weiteste Umfang: jede interne Seite, die von der Start-URL erreichbar ist, über die Hauptdomain und ihre Subdomains (www, blog, shop, docs). Verwenden Sie ihn für vollständige Site-Prüfungen, volle XML-Sitemap-Erstellung, Migrationsinventare und jede Aufgabe, bei der "haben wir etwas verpasst?" der Ausfallmodus ist. Dies ist standardmäßig für defekte Link-Prüfungen und verwaiste Seiten wichtig, bei denen Vollständigkeit entscheidend ist. Hinweis zu den Credits: Bei großen Websites ist dieser Umfang naturgemäß kreditintensiv — überprüfen Sie die Schätzungen der Seitenanzahl vor dem Start oder beschränken Sie sich zuerst auf einen Pfad.

Nur Hauptdomain — Subdomains ausschließen

Crawlt jede Seite auf der Hauptdomain, endet jedoch an den Grenzen der Subdomains: example.com wird gecrawlt, blog.example.com und shop.example.com nicht. Verwenden Sie diese Option, wenn Subdomains separate Anliegen sind — ein anderes Team betreut die Dokumentations-Portal, ein extern gehosteter Shop, ein Staging-Subdomain — und Sie möchten, dass die Prüfung nur die Kernseite widerspiegelt. Dies ist auch die praktische Wahl, wenn eine Subdomain riesig ist (ein Forum, ein Wiki) und den Credit-Verbrauch ohne Nutzen dominieren würde.

Nur Subdomain — Eine Subdomain, sonst nichts

Das Gegenteil: Eine einzelne Subdomain (z. B. blog.example.com) crawlen und dort bleiben. Verwenden Sie es, um eine Eigenschaft isoliert zu prüfen — die internen Links des Blogs, die defekten Links im Dokumenten-Portal, die Produkt-URLs im Shop — ohne den restlichen Web-Bestand der Organisation zu berühren. Oft verwendet von Teams, die nur über ein Subdomain des großen Unternehmens verfügen und nur für ihr eigenes Segment (und ein Credit-Budget) verantwortlich sind.

Einzelner Pfad — Ein Abschnitt der Site

Beschränkt den Crawl auf URLs unter einem Pfad-Präfix, wie /blog/ oder /products/. Dies ist das kredit-effiziente Arbeitstier auf großen Websites: Ein 100.000-Seiten-Marktplatz benötigt keinen vollständigen Crawl, um sein 2.000-Seiten-Blog zu prüfen. Verwenden Sie es für Bereichsprüfungen, Kategoriebasierte Produkt-Extraktion und iterative Arbeiten — reparieren Sie einen Abschnitt, crawlen Sie denselben Pfad günstig, überprüfen Sie, gehen Sie weiter. Es wird auch empfohlen, um eine sehr große Site zu testen, bevor Sie Credits für einen Full-Domain-Crawl ausgeben.

Einzelseite — Nur eine URL

Der engste Umfang: Genau eine URL, keine weitere Linkverfolgung. Verwenden Sie es, wenn die Frage zu einer Seite und nicht zur gesamten Site ist — jedes Bild auf dieser Seite, jeder ausgehende Link in diesem Artikel, die Produktdaten auf dieser Auflistung. Eine Standardseite kostet ein Credit, liefert Ergebnisse in Sekunden und ist der schnellste Weg, die Ausgabe von CrawlHawk zu testen, bevor Sie etwas Größeres ausführen.

Welchen Umfang sollte ich wählen? — Schnellreferenz

Umfang und Credits

Eine Standard-URL kostet in jedem Umfang einen Credit — der Umfang steuert einfach, wie viele URLs der Crawl erreichen kann. Erweiterte Modi kosten mehr pro URL (JavaScript-gerenderte oder geschützte Seiten, und die KI-Produktextraktion verbrauchen zusätzliche Credits); die genauen Kosten werden immer vor dem Start angezeigt. Die kostenlose Stufe deckt 500 URLs pro Crawl ab, unabhängig vom Umfang, was Einzelseiten, Pfade und kleine Sites bequem abdeckt. Für größere Crawls sind Credit-Pakete einmalig zu zahlen und die Credits verfallen nie, sodass ein aggressives Full-Domain-Audit in diesem Monat kein Abonnement für ruhigere Monate danach erzwingt. Sehen Sie sich die Preise für aktuelle Tarife an.

Häufig gestellte Fragen

Wie crawle ich eine gesamte Website?

Wählen Sie den Umfang "Vollständige Domain" und geben Sie die Startseite der Site ein. CrawlHawk folgt jedem internen Link und zwar einschließlich der Subdomains, bis alle erreichbaren Seiten erfasst sind — bis zu über 50.000 URLs.

Kann ich nur eine Subdomain crawlen?

Ja — Der Umfang "Nur Subdomain" crawlt eine einzelne Subdomain und verlässt sie nie.

Was ist der Unterschied zwischen "Vollständige Domain" und "Nur Hauptdomain"?

Vollständige Domain umfasst die Subdomains (blog., shop., docs.); Nur Hauptdomain endet an der Grenze der Subdomains und crawlt nur die Kerndomain. Wenn Ihre Subdomains separate Systeme sind, hält Nur Hauptdomain sie aus Ihrem Bericht und Ihrer Credit-Rechnung heraus.

Kostet ein engerer Umfang weniger Credits?

Indirekt, ja — Credits werden pro gecrawlter URL in jedem Umfang verbraucht, sodass ein engerer Umfang weniger URLs erreicht und somit weniger kostet. Eine Standard-Einzelseite kostet einen Credit; ein Pfad kostet so viele Credits wie Seiten darunter, wobei erweiterte Modi (Rendering, KI-Extraktion) mehr pro URL verbrauchen.

Kann ich den Umfang nach dem Start eines Crawls ändern?

Jeder Crawl läuft mit dem Umfang, mit dem er gestartet wurde. Um ihn zu erweitern oder zu verkleinern, starten Sie einen neuen Crawl — Zuerst den engeren Umfang ist die credit-sichere Reihenfolge bei unbekannten Seiten: Probieren Sie einen Pfad aus, bevor Sie die vollständige Domain crawlen.

Welchen Umfang nutzt der XML-Sitemap Generator?

Ihre Wahl — eine Sitemap kann die vollständige Domain, nur die Hauptdomain, eine Subdomain oder einen Pfad abdecken, je nachdem für welches Eigentum die Sitemap gedacht ist. Vollständige Domain ist der Standard für eine vollständige Sitemap.

Jetzt crawlen — 500 URLs kostenlos, keine Kreditkarte erforderlich →

Verwandte Tools: Benutzerdefinierter Link-Crawler · XML Sitemap Generator · Broken Link Checker · Bild-Link-Extraktor