Oft stößt man auf eine Website, deren Rubriken man gerne vollständig durchstöbern würde, deren Navigation aber nur einen Bruchteil der Inhalte zeigt. Die Sitemap ist eine Datei, in der die URLs aufgeführt sind, die eine Website bereitstellt. Wer weiß, wo sie zu finden ist und wie man sie liest, kann auf Seiten zugreifen, die weder im Menü noch über die interne Suche hervorgehoben werden.
Die XML-Sitemap einer Website aufrufen
Am einfachsten ist es, die Adresse der Website gefolgt von /sitemap.xml in die Browserzeile einzugeben. Bei den meisten Websites, die mit einem CMS wie WordPress, Shopify oder Joomla erstellt wurden, führt diese URL zu einer XML-Datei mit einer Liste der veröffentlichten Seiten.
Wenn diese Adresse einen 404-Fehler zurückgibt, kann man einige Varianten ausprobieren: /sitemap_index.xml, /sitemap1.xml oder auch /sitemap/. Der Dateiname ist nicht standardisiert; jedes CMS und jedes Plugin verwendet seine eigene Konvention.
Eine weitere zuverlässige Möglichkeit: Öffnen Sie die robots.txt-Datei der Website (erreichbar über /robots.txt). Diese Datei enthält häufig eine Zeile mit „Sitemap:“, die den genauen Speicherort der Sitemap angibt. Das ist übrigens die von Google empfohlene Methode, seit das frühere Benachrichtigungssystem per Ping 2023 eingestellt wurde. Ein Blick auf die Sitemap von Double Portion zeigt beispielsweise, wie eine gut strukturierte Sitemap auf einer echten Website aussieht.
Sitemap-Index und untergeordnete Dateien: eine umfangreiche Sitemap lesen
Bei großen Websites ist die erste Datei, auf die man stößt, nicht die vollständige URL-Liste. Es handelt sich um einen Sitemap-Index, eine Datei, die auf mehrere untergeordnete Sitemaps verweist. Jede dieser Dateien enthält eine Gruppe von URLs, die häufig nach Inhaltstyp geordnet sind (Artikel, Produkte, Kategorien).
Google setzt pro Datei eine Obergrenze: höchstens 50.000 URLs und höchstens 50 MB im unkomprimierten Zustand. Wird diese Grenze überschritten, muss die Website ihre Sitemap auf mehrere Dateien aufteilen, die über diesen Index miteinander verknüpft sind. Um tatsächlich alle Seiten zu erfassen, muss man daher jede untergeordnete Datei öffnen und darf sich nicht mit der obersten Ebene begnügen.
In der Praxis klickt man im Browser auf jeden Link im Sitemap-Index. Die XML-Datei wird mit den Tags loc (der URL der Seite) und manchmal lastmod (dem Datum der letzten Änderung) angezeigt. Bei einem Onlineshop mit Tausenden von Produktseiten ist das Durchgehen der einzelnen Dateien die einzige Möglichkeit, einen vollständigen Überblick zu erhalten.
Ist das lastmod-Tag zuverlässig, um Aktualisierungen zu erkennen?
Google weist darauf hin, dass dieses Datum nur berücksichtigt wird, wenn es tatsächliche Änderungen am Inhalt widerspiegelt. Viele CMS aktualisieren das Datum bei jeder Neuerstellung der Datei, auch wenn sich die Seite selbst nicht geändert hat. Ein aktuelles lastmod-Datum garantiert nicht, dass der Inhalt geändert wurde. Um aktualisierte Seiten ohne manuelle Prüfung zu erkennen, kann man sich daher nicht darauf verlassen.
Drei Fälle, in denen die Sitemap nicht alles zeigt
Die Sitemap ist weiterhin ein deklaratives Verzeichnis. Sie listet nur auf, was der Generator darin einträgt. Verschiedene Situationen können dazu führen, dass die tatsächlichen Inhalte einer Website nicht mit den Angaben in der Sitemap übereinstimmen.
- Verwaiste Seiten (ohne interne Links) fehlen häufig in der Sitemap, insbesondere wenn diese automatisch anhand der Navigationsstruktur der Website erstellt wird
- Seiten, die durch eine Regel in der robots.txt oder ein noindex-Tag ausgeschlossen sind, können aus der Datei verschwinden, obwohl sie über ihre direkte URL technisch weiterhin erreichbar sind
- Dynamisch generierte Inhalte (Filterergebnisse, Seiten der internen Suche) erscheinen fast nie in einer Sitemap, da sie Tausende redundanter URLs erzeugen würden
Um diese Lücken zu schließen, kann man die Sitemap zusätzlich mit einem Crawl der Website mithilfe eines Tools wie Screaming Frog oder Xenu prüfen. Diese Programme folgen jedem internen Link und machen Seiten sichtbar, die in der Sitemap fehlen.
Google Search Console und robots.txt zum Abgleich der Daten nutzen
Wer die eigene Website verwaltet, erhält in der Google Search Console eine Liste der indexierten Seiten sowie Hinweise auf problematische Seiten. Im Bereich „Sitemaps“ kann man die Datei einreichen und prüfen, wie viele URLs entdeckt und wie viele davon tatsächlich indexiert wurden.
Die Abweichung zwischen den beiden Zahlen ist aufschlussreich. Eine Sitemap kann mehrere Hundert Seiten aufführen, obwohl Google nur einen Bruchteil davon indexiert. Die Gründe sind vielfältig: zu dünne Inhalte, doppelte Seiten, Weiterleitungsfehler oder schlicht ein unzureichendes Crawl-Budget bei einer umfangreichen Website.
Sitemap und robots.txt abgleichen, um Unstimmigkeiten zu erkennen
Die robots.txt-Datei kann den Zugriff auf ganze Verzeichnisse blockieren, während deren URLs weiterhin in der Sitemap stehen. Dieser Konflikt verhindert, dass Suchmaschinen diese Seiten verarbeiten. Durch eine Prüfung der Übereinstimmung zwischen den beiden Dateien lassen sich solche Widersprüche beseitigen.
Konkret öffnet man die robots.txt, sucht nach den Zeilen mit „Disallow“ und vergleicht sie anschließend mit den URLs in der Sitemap. Taucht eine URL in beiden Dateien auf, liegt ein Fehler vor, der behoben werden sollte: Entweder wird die Seite aus der Sitemap entfernt oder die Sperrregel gelöscht.
Eine Sitemap ohne technische Vorkenntnisse lesen
Das im Browser unverarbeitet angezeigte XML-Format kann abschreckend wirken. Manche Browser wie Chrome zeigen die Tags ohne Formatierung an, was das Lesen einer Datei mit mehreren Tausend Zeilen mühsam macht.
Einige einfache Lösungen erleichtern die Lektüre:
- Die URL der Sitemap in ein Online-Tool zur XML-Anzeige kopieren, das die Daten in einer Tabelle mit sortierbaren Spalten darstellt
- Eine Browsererweiterung für XML-Dateien verwenden, die den Inhalt automatisch farblich hervorhebt und einrückt
- Die Datei in eine Tabellenkalkulation importieren, um die URLs nach Datum oder Website-Bereich zu filtern und zu sortieren
Die Sitemap ist der schnellste Einstieg, um eine Website zu kartieren, sofern man sie nicht mit einem vollständigen Verzeichnis verwechselt. Wer diese Datei mit der robots.txt, einem technischen Crawl oder der Search Console abgleicht, erhält ein deutlich genaueres Bild davon, welche Inhalte eine Website tatsächlich umfasst.
