Kurz erklärt
Crawling ist der Prozess, bei dem Suchmaschinen-Bots das Internet durchsuchen und Webseiten aufrufen, um deren Inhalte zu erfassen und für die Indexierung vorzubereiten.
Crawling beschreibt den Vorgang, bei dem automatisierte Programme – sogenannte Crawler oder Bots – systematisch das Internet durchsuchen und Webseiten aufrufen. Googles Crawler heißt Googlebot und besucht regelmäßig Milliarden von Webseiten, um deren Inhalte zu erfassen. Der Crawler folgt dabei Links von Seite zu Seite und entdeckt so neue Inhalte und Änderungen an bestehenden Seiten.
Nicht jede Seite wird gleich häufig gecrawlt. Google vergibt ein sogenanntes Crawl-Budget, das bestimmt, wie viele Seiten einer Domain in einem bestimmten Zeitraum aufgerufen werden. Große und autoritäre Websites mit häufig aktualisierten Inhalten erhalten ein höheres Budget. Für kleinere Websites bedeutet das: Sie müssen sicherstellen, dass der Crawler seine begrenzten Besuche auf die wichtigsten Seiten verwendet.
Die robots.txt-Datei und Meta-Robots-Tags geben Ihnen die Möglichkeit, das Crawling zu steuern. Sie können bestimmte Bereiche Ihrer Website vom Crawling ausschließen oder dem Crawler Hinweise geben, welche Seiten besonders wichtig sind. Eine XML-Sitemap hilft dem Crawler zusätzlich, alle relevanten Seiten zu finden.
Bedeutung für Unternehmen
Crawling ist der erste Schritt im Prozess, über den Ihre Seiten in den Google-Suchergebnissen landen. Wenn der Googlebot eine Seite nicht crawlen kann, wird sie auch nicht indexiert und erscheint nicht in den Suchergebnissen. Für Unternehmen mit umfangreichen Websites – etwa mit vielen Kurs- oder Produktseiten – ist ein effizientes Crawling besonders wichtig. Technische Fehler wie fehlerhafte Weiterleitungen, langsame Serverantworten oder versehentliche Crawling-Blockaden können dazu führen, dass wichtige Seiten unsichtbar bleiben.
Praxisbeispiel
Ein Seminaranbieter stellt über die Google Search Console fest, dass 30 Prozent seiner Kursseiten im letzten Monat nicht gecrawlt wurden. Die Ursache: Eine fehlkonfigurierte robots.txt blockiert das Verzeichnis /kurse/. Nach der Korrektur und dem Einreichen einer aktualisierten Sitemap werden alle Kursseiten innerhalb einer Woche erneut gecrawlt und korrekt indexiert.
Das lernen Sie im Seminar
Im SEO Seminar lernen Sie, wie das Crawling funktioniert und wie Sie es für Ihre Website optimieren. Sie erfahren, wie Sie die Google Search Console nutzen, um Crawling-Probleme zu erkennen und zu beheben.