Robots.txt & Sitemap prüfen
Finden Sie in Sekunden heraus, ob Google Ihre Website crawlen darf, ob die Sitemap gefunden wird und ob die URLs darin sauber antworten.
Domain prüfen
Domain mit oder ohne https:// — wir suchen robots.txt und Sitemap automatisch.
Was prüft der Check?
robots.txt und XML-Sitemap sind die Wegweiser für Suchmaschinen. Kleine Fehler darin können ganze Websites aus Google verschwinden lassen.
robots.txt erreichbar
Liefert /robots.txt eine gültige Textdatei — oder einen Serverfehler, der das Crawling stoppt?
Startseite gesperrt?
Erkennt „Disallow: /“ und andere Regeln, die Google aussperren — nach Googles Regel „längster Treffer gewinnt“.
CSS, JavaScript, Bilder
Sind Dateien gesperrt, die Google zum Darstellen der Seite braucht?
Sitemap finden
Aus dem Verweis in robots.txt oder unter /sitemap.xml, /sitemap_index.xml und /wp-sitemap.xml.
Sitemap-Inhalt
Anzahl der URLs, Teil-Sitemaps, Änderungsdaten (lastmod) und das 50.000-URL-Limit.
Stichprobe
Drei URLs aus der Sitemap werden abgerufen: Antworten sie mit 200, leiten sie weiter oder sind sie kaputt?
So funktioniert’s
- Domain eingeben und auf „Prüfen“ klicken.
- Das Tool liest robots.txt, sucht die Sitemap und ruft drei URLs daraus ab.
- Sie erhalten Score, Ampel je Prüfpunkt, die robots.txt im Klartext und konkrete Schritte.
- Optional: Ergebnis von uns prüfen lassen.
Warum wichtig?
Ein Zeichen kann alles sperren
„Disallow: /“ bleibt nach einem Relaunch oft aus der Testumgebung stehen — und Google nimmt die Seiten nach und nach aus dem Index.
Die Sitemap beschleunigt die Indexierung
Eine saubere Sitemap mit Änderungsdaten zeigt Google neue und geänderte Seiten schneller.
Fehler in der Sitemap kosten Crawl-Budget
Weiterleitungen und 404-Seiten in der Sitemap verschwenden Googles Zeit und schwächen das Vertrauen in die Datei.
Häufige Fragen zum Tool
Was passiert, wenn keine robots.txt vorhanden ist?
Liefert /robots.txt einen 404-Fehler, darf Google die gesamte Website crawlen. Das ist erlaubt. Es fehlt dann nur der Verweis auf die Sitemap, den wir trotzdem empfehlen.
Warum ist ein 5xx-Fehler bei robots.txt so gefährlich?
Antwortet robots.txt mit einem Serverfehler, behandelt Google die ganze Website vorsichtshalber als gesperrt und pausiert das Crawling, bis die Datei wieder erreichbar ist.
Entfernt „Disallow“ eine Seite aus Google?
Nicht zuverlässig. robots.txt verbietet nur das Crawlen. Um eine Seite aus dem Index zu nehmen, braucht es „noindex“ auf der Seite selbst — und dafür darf sie gerade nicht gesperrt sein.
Wie viele URLs darf eine Sitemap enthalten?
Höchstens 50.000 URLs oder 50 MB unkomprimiert je Datei. Größere Websites teilen die Sitemap auf und verbinden die Teile über eine Index-Sitemap.
Muss ich die Sitemap bei Google einreichen?
Der Verweis in der robots.txt reicht, damit Google sie findet. In der Search Console eingereicht sehen Sie zusätzlich, wie viele URLs Google gelesen und indexiert hat.
Google findet Ihre Seiten nicht?
Wir prüfen Indexierung, Crawling und Sitemaps in der Search Console und sorgen dafür, dass Ihre wichtigen Seiten bei Google ankommen.
