Wenn Google Ihre Bestseller nicht findet: Das Crawl-Budget-Problem im E-Commerce
Ein E-Commerce-Manager eines mittelständischen Modeshops stellt plötzlich fest, dass seine Top-20-Produkte – diejenigen, die 60 Prozent des Umsatzes generieren – in der Google-Suche verschwunden sind. Nicht wegen schlechter Rankings, sondern weil sie gar nicht indexiert wurden. Die Ursache: Google hatte sein Crawl-Budget aufgebraucht, bevor es zu diesen Seiten kam. Stattdessen indexierte die Suchmaschine Hunderte von Filterseiten, Archivseiten und veraltete Kategorieübersichten.
Dieses Szenario ist bei Online-Shops mit mehr als 500 Produkten alltäglich. Google verfügt über ein begrenztes Crawl-Budget pro Domain – eine Menge an Ressourcen, die die Suchmaschine pro Tag für das Crawlen Ihrer Website aufwendet. Bei Shops mit flacher Struktur und vielen Parametern wird dieses Budget schnell verschwendet, während die wertvollsten Seiten unberücksichtigt bleiben.
Das Crawl-Budget ist nicht einfach eine technische Metrik für SEO-Spezialisten. Es ist ein direkter Hebel für Ihre Sichtbarkeit und damit für Ihren Umsatz. Ein Online-Shop, dessen Produktseiten nicht indexiert sind, ist unsichtbar – egal wie gut die Produktbeschreibungen sind.
Was ist Crawl-Budget und warum ist es für Shops kritisch?
Die Grundlagen: Wie Google Ihre Website erkundet
Crawl-Budget beschreibt die Anzahl der URLs, die Googlebot pro Tag auf Ihrer Website aufsucht und analysiert. Google teilt dieses Budget basierend auf zwei Faktoren auf: der Crawl-Rate (wie schnell der Bot Ihre Seiten laden kann) und der Crawl-Demand (wie wichtig Google Ihre Website einschätzt). Eine schnelle Website mit hoher Autorität erhält ein größeres Budget.
Bei einem Shop mit 10.000 Produkten und 50.000 Gesamtseiten (inklusive Filter, Kategorien, Archiv) kann Google möglicherweise nur 5.000 bis 8.000 URLs pro Tag crawlen. Das bedeutet: Nicht alle Seiten werden täglich aktualisiert. Manche Produkte werden nur wöchentlich oder gar nicht gecrawlt.
Der kritische Punkt: Wenn Google eine Seite nicht crawlt, kann sie nicht indexiert werden. Und wenn sie nicht indexiert ist, kann sie nicht ranken. Das Crawl-Budget ist daher der erste Engpass in der SEO-Funnel eines E-Commerce-Shops.
Warum Online-Shops besonders anfällig sind
E-Commerce-Websites haben strukturelle Merkmale, die Crawl-Budget verschwenden:
- Filterseiten und Facets: Ein Shop mit Filtern für Farbe, Größe, Preis und Material kann leicht 100.000+ eindeutige URL-Kombinationen generieren, die technisch unterschiedliche Seiten sind.
- Sortierparameter: Seiten, die nach Preis, Beliebtheit oder Datum sortiert sind, erzeugen Duplikate aus Googles Perspektive.
- Session-IDs und Tracking-Parameter: Viele Shops hängen Session-IDs an URLs an, wodurch identische Inhalte als unterschiedliche Seiten erscheinen.
- Paginierung: Kategorienseiten mit 50 Produkten pro Seite erzeugen dutzende Seiten pro Kategorie.
- Archivseiten: Alte, nicht mehr verkaufte Produkte bleiben im Index und verbrauchen Budget.
Ein typischer 5.000-Produkt-Shop kann leicht 200.000+ indexierbare URLs haben. Mit einem Crawl-Budget von 5.000 URLs pro Tag werden manche Produkte monatelang nicht besucht.
Schritt 1: Ihr Crawl-Budget analysieren und verstehen
Daten aus der Google Search Console auslesen
Die Google Search Console bietet einen direkten Einblick in Googles Crawling-Verhalten. Navigieren Sie zu Einstellungen > Crawl-Statistiken. Hier sehen Sie:
- Durchschnittliche Anfragen pro Tag (Crawl-Rate)
- Durchschnittliche Kilobyte pro Anfrage (Seitengröße)
- Durchschnittliche Antwortzeit in Millisekunden
Diese Daten sind Gold für die Diagnose. Wenn die Antwortzeit über 500 Millisekunden liegt, verschwendet Google Budget auf langsame Seiten. Wenn die Crawl-Rate unter Ihrer erwarteten Produktanzahl liegt, haben Sie ein Budget-Problem.
Exportieren Sie diese Daten über mehrere Wochen. Ein Trend nach oben bedeutet, dass Google Ihrer Website mehr Vertrauen schenkt. Ein Trend nach unten deutet auf technische Probleme oder sinkende Autorität hin.
Server-Logs analysieren: Was crawlt Google wirklich?
Die Search Console zeigt aggregierte Daten. Um zu sehen, welche URLs Google crawlt, brauchen Sie Server-Logs. Mit Tools wie Screaming Frog (SEO Spider) oder Semrush können Sie die Logs analysieren und kategorisieren:
- Wie viele Crawls pro URL-Typ (Produkt, Kategorie, Filter, Archiv)?
- Welche Seiten werden häufig gecrawlt, welche nie?
- Gibt es Parameter, die zu Duplikaten führen?
Typisches Ergebnis: 40 Prozent des Budgets geht an Filterkombinationen, 20 Prozent an Paginierung, 15 Prozent an Kategorieseiten und nur 25 Prozent an echte Produktseiten – obwohl Produkte 90 Prozent des Umsatzes generieren.
Schritt 2: Unwichtige URLs ausschließen und Duplikate eliminieren
robots.txt strategisch einsetzen
Die robots.txt ist Ihr erstes Werkzeug, um Google zu sagen, welche Bereiche nicht gecrawlt werden sollen. Ein Online-Shop sollte folgende Pfade blockieren:
User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /search?
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /archive/
Disallow: /*?session_id=
Achtung: Blockieren Sie nur URLs, die keinen SEO-Wert haben. Blockieren Sie nicht versehentlich Kategorieseiten oder wichtige Inhalte. Ein häufiger Fehler: Shops blockieren /de/produkte/ statt nur Parameter, und verstecken damit alle Produkte vor Google.
Canonical Tags und Parameter-Handling
Wenn Sie Filter behalten möchten (weil sie User-Experience verbessern), nutzen Sie Canonical Tags, um Duplikate zu konsolidieren. Beispiel:
Die URL example.com/schuhe?color=rot&size=42 sollte auf example.com/schuhe verweisen (oder auf die kanonische Basis-URL). Google crawlt dann nur die Basis-URL und spart Budget.
Noch besser: Nutzen Sie Google Search Console > URL-Parameter, um Google zu sagen, dass bestimmte Parameter ignoriert werden sollen. Das reduziert Crawl-Duplikate drastisch.
Archivseiten und veraltete Produkte handhaben
Produkte, die seit über einem Jahr nicht verkauft wurden, verbrauchen Crawl-Budget ohne Nutzen. Optionen:
- Löschen: Entfernen Sie die Seite ganz und leiten Sie 301 zur nächsten verfügbaren Kategorie um.
- Noindex: Markieren Sie mit
<meta name="robots" content="noindex">, damit Google die Seite ignoriert, aber interne Links noch funktionieren. - Redirect: Leiten Sie zu einem ähnlichen, verfügbaren Produkt um (301-Redirect).
Ein Shop mit 10.000 Produkten kann durch Archivierung von 2.000 veralteten Seiten sein Crawl-Budget um 20 Prozent freisetzen – Budget, das dann für neue, verkäufliche Produkte zur Verfügung steht.
Schritt 3: Produktseiten priorisieren – Ihr Crawl-Budget-Strategie
Kategorisieren Sie Ihre Produkte nach Wert
Nicht alle Produkte sind gleich wertvoll. Ein strategisches Crawl-Budget-Management priorisiert:
- Tier 1 (Top 20%): Produkte mit höchstem Umsatz, höchster Conversion-Rate oder strategischer Wichtigkeit. Diese sollten täglich gecrawlt werden.
- Tier 2 (Mittlere 30%): Solide Performer mit regelmäßigen Verkäufen. Wöchentliches Crawling ist ausreichend.
- Tier 3 (Langsamverkäufer 50%): Nischenproduk oder saisonale Artikel. Monatliches Crawling ist OK.
Wie priorisieren Sie? Nutzen Sie Daten aus Google Analytics und Ihrem Shop-System: Umsatz pro Produkt, Conversion-Rate, durchschnittlicher Bestellwert, Suchvolumen des Keywords.
XML-Sitemap-Strategie
Ihre XML-Sitemap ist ein direkter Kanal zu Google. Statt alle 50.000 URLs in eine Sitemap zu packen, erstellen Sie mehrere:
- Primary-Sitemap: Nur Tier-1-Produkte (Top 500-1.000), Kategorieseiten und wichtige Inhaltsseiten. Maximal 50.000 URLs (Googles Limit).
- Secondary-Sitemap: Tier-2-Produkte. Aktualisieren Sie diese wöchentlich.
- Tertiary-Sitemap: Tier-3-Produkte. Aktualisieren Sie monatlich oder gar nicht.
In Ihrer Sitemap-Index-Datei priorisieren Sie die Primary-Sitemap. Google crawlt diese zuerst und häufiger. Tier-1-Produkte erhalten automatisch mehr Aufmerksamkeit.
Interne Linkstruktur optimieren
Google folgt Links. Eine starke interne Linkstruktur lenkt Crawl-Budget dorthin, wo Sie es haben möchten:
- Startseite → Kategorieseiten → Top-Produkte: Eine flache, logische Hierarchie. Produkte sollten maximal 3 Klicks von der Startseite entfernt sein.
- Kontextuelle Links: Verlinken Sie von Kategorieseiten auf Ihre besten Produkte. Ein
Kommentare (1 Kommentar)