Eine XML-Sitemap, die URLs mit noindex, 301-Weiterleitungen oder Seiten, die durch robots.txt blockiert sind, enthält, sendet ein widersprüchliches Signal an die Crawling-Roboter. Bevor man an die Einreichung oder die Aktualisierungsfrequenz denkt, empfehlen wir, die Sitemap als Qualitätsfilter zu betrachten: Nur kanonische, indexierbare und zugängliche URLs sollten darin aufgeführt werden.
XML-Sitemap und Crawl-Budget: die oft unterschätzte technische Verbindung
Googlebot weist jeder Website ein begrenztes Crawl-Budget zu. Jede URL, die in der Sitemap enthalten ist, verbraucht einen Teil dieses Budgets beim Crawlen. Eine Datei, die nützliche Seiten mit verwaisten, duplizierten oder weitergeleiteten Seiten mischt, verwässert dieses Budget auf Ressourcen ohne SEO-Wert.
Lesetipp : Die Ursachen für eine grüne Hortensie verstehen und wie man dagegen vorgeht
Wir beobachten regelmäßig Websites, deren Sitemap mehrere Tausend URLs auflistet, während die Hälfte einen 404-Code oder einen noindex-Status zurückgibt. Der Bericht “Sitemaps” in der Google Search Console ermöglicht es, diese Abweichungen zu diagnostizieren: Er zeigt die Anzahl der eingereichten URLs im Vergleich zur Anzahl der tatsächlich indexierten URLs an. Ein niedriges Verhältnis weist auf ein Problem mit der Sauberkeit der Datei hin.
Die beste Praxis besteht darin, die Sitemap mit der Strategie der kanonischen Tags abzustimmen. Wenn zwei URLs auf dieselbe Ressource verweisen, erscheint nur die kanonische Version in der Datei. Diese Konsistenz reduziert den Ressourcenverschleiß und beschleunigt die Entdeckung neuer oder aktualisierter Seiten.
Auch lesenswert : Erfahren Sie, wie Sie effizient auf der Website Le Bilan und ihren Rubriken navigieren können
Um ein konkretes Beispiel für eine gut strukturierte Sitemap zu sehen, zeigt die Sitemap-Seite von Success Man diese Logik von gefilterten und hierarchisierten URLs auf einer redaktionellen Website.
Lastmod- und Changefreq-Tags in einer Sitemap: was Google wirklich nutzt
Die Spezifikation des Sitemap-Protokolls sieht mehrere optionale Tags vor. Nicht alle haben dasselbe Gewicht für Suchmaschinen.
Das Lastmod-Tag beeinflusst die Priorisierung des Crawls, wenn es ein tatsächliches Änderungsdatum widerspiegelt. Google hat bestätigt, dass es diese Information nutzt, um zu entscheiden, welche URLs vorrangig erneut besucht werden. Im Gegensatz dazu wird ein künstlich aktualisiertes Lastmod-Datum (zum Beispiel bei jedem Deployment der Website, ohne Inhaltsänderung) schließlich ignoriert.
Das Changefreq-Tag (täglich, wöchentlich, monatlich) wird von Google weitgehend vernachlässigt. Wir betrachten es als Rauschen in der Datei. Das Priority-Tag, das die relative Wichtigkeit einer URL angeben soll, ergeht es ähnlich: Google berücksichtigt es nicht bei seinen Entscheidungen über Crawling oder Ranking.
In der Praxis beschränkt sich eine effektive Sitemap auf die folgenden Tags für jeden Eintrag:
- Das Loc-Tag, das die absolute kanonische URL der Seite enthält
- Das Lastmod-Tag, das nur bei einer wesentlichen Änderung des Inhalts aktualisiert wird
- Die Hreflang-Tags (über xhtml:link) für mehrsprachige Websites, um die alternativen Sprachversionen direkt in der Sitemap zu kennzeichnen
Spezialisierte Sitemaps: Bilder, Videos und Nachrichten
Das Protokoll beschränkt sich nicht auf HTML-Seiten. Erweiterungen ermöglichen es, reichhaltige Inhalte zu deklarieren, die die Roboter nicht immer über das klassische Crawlen entdecken würden.
Eine Bild-Sitemap erklärt die visuellen Inhalte, die mit jeder URL verbunden sind. Dies verbessert die Abdeckung in Google Bilder, was besonders nützlich für E-Commerce-Websites oder Portfolios ist. Ohne diese Erklärung können dynamisch geladene Bilder (Lazy Loading, JavaScript) für den Bot unsichtbar bleiben.
Die Video-Sitemap funktioniert nach dem gleichen Prinzip: Sie liefert Metadaten (Titel, Beschreibung, Dauer, URL des Thumbnails), die der Roboter nicht aus einem eingebetteten Player extrahieren kann. Nachrichten-Websites haben ein spezielles Format (News-Sitemap), das Artikel signalisiert, die in den letzten 48 Stunden veröffentlicht wurden, und beschleunigt deren Erscheinen in Google Nachrichten.
Wann eine spezialisierte Sitemap bereitstellen
Eine Bild- oder Video-Sitemap ist nur dann gerechtfertigt, wenn der Multimedia-Inhalt einen echten Traffic-Anreiz darstellt. Ein textbasierter Blog ohne Ambitionen in Google Bilder hat kein Interesse daran, diese Datei zu pflegen. Jede zusätzliche Sitemap erhöht den Wartungsaufwand: veraltete URLs, abgelaufene Metadaten, nicht aktualisierte Dateien.
XML-Sitemap und interne Verlinkung: zwei komplementäre, nicht ersetzbare Mechanismen
Ein häufiger Fehler besteht darin, die Sitemap als Ersatz für die interne Verlinkung zu betrachten. Die Sitemap erleichtert die Entdeckung von URLs, aber die interne Verlinkung verteilt die Autorität zwischen den Seiten. Ein Roboter, der eine Seite über die Sitemap entdeckt, ohne dass ein interner Link auf sie verweist, wird sie als verwaist betrachten, was sich negativ auf ihr Ranking-Potenzial auswirkt.
Das umgekehrte Szenario ist ebenfalls problematisch. Eine Website mit dichter interner Verlinkung, aber ohne Sitemap kann sehen, dass ihre tiefen Seiten verspätet entdeckt werden, insbesondere wenn die Struktur mehr als drei oder vier Ebenen tief ist. Große Websites oder solche, deren Struktur stark auf JavaScript basiert, profitieren am meisten von einer aktuellen Sitemap.
Verwaiste Seiten über die Sitemap diagnostizieren
Wir empfehlen, die URL-Liste der Sitemap mit einem vollständigen Crawl der Website (über ein Tool wie Screaming Frog oder Sitebulb) abzugleichen. Die URLs, die in der Sitemap vorhanden, aber im Crawl nicht gefunden werden, sind verwaiste Seiten. Die gecrawlten URLs, die in der Sitemap fehlen, sind potenziell von der Indizierung vergessen.
- Seiten in der Sitemap, die aber im Crawl nicht auffindbar sind: mindestens einen kontextuellen internen Link hinzufügen
- Gecrawlte Seiten, die in der Sitemap fehlen: ihren Indexierungsstatus überprüfen und sie einfügen, wenn sie kanonisch sind
- Seiten in der Sitemap mit einem noindex-Status oder einer Weiterleitung: sofort aus der Datei entfernen
Diese regelmäßige Überprüfung stellt sicher, dass die Sitemap ein treues Abbild der tatsächlichen Struktur der Website bleibt und kein technisches Artefakt ist, das von der redaktionellen Realität getrennt ist.
Eine saubere Sitemap, die auf indexierbare URLs beschränkt ist und mit zuverlässigen Lastmod-Daten angereichert ist, bleibt eines der einfachsten technischen Werkzeuge, die implementiert werden können. Ihre Effektivität hängt vollständig von ihrer Wartung ab: Eine einmal generierte und dann vergessene Datei verliert innerhalb weniger Monate jede Nützlichkeit.