Die häufigsten Indexierungsprobleme und wie man sie behebt

Indexierungsprobleme können Ihre SEO-Bemühungen zunichte machen – eine Seite mag perfekt optimiert sein und eine tolle UX haben, aber sie ist nichts wert, wenn Google sie nicht sieht. Nicht indizierte Seiten gelangen nicht in die SERPs und bringen keinen Traffic und keine Conversions.

Wenn Google umgekehrt gelegentlich eine Seite sieht und indiziert, die nicht für die Indexierung gedacht war, besteht die Gefahr, dass private Informationen verloren gehen, Google-Strafen für minderwertige Inhalte verhängt werden und andere kaum zufriedenstellende Folgen haben.

In diesem Leitfaden werde ich erläutern, welche Arten von Indexierungsproblemen es gibt und wie man sie beheben kann, damit sie nicht zu plötzlichen Ranking-Einbrüchen führen. Doch zunächst sehen wir uns an, wie Sie überprüfen können, ob auf Ihrer Website Indexierungsprobleme auftreten.

Wie erkennt man Indexierungsprobleme?

Die Google Search Console kann Ihnen einen grundlegenden, aber dennoch ausreichenden Einblick in die Indexierungsprobleme Ihrer Website geben. Sehen Sie sich den Bericht „Index“ > „Seiten“ an, um sie anzuzeigen.

Seiten, die aus irgendeinem Grund nicht indiziert sind, werden in der Rubrik „Nicht indiziert“ zusammengefasst. Seiten, die indiziert wurden, aber immer noch Probleme aufweisen und Ihre Aufmerksamkeit erfordern, finden Sie unten auf der Seite im Abschnitt „Seitendarstellung verbessern“:

Um ein Problem weiter zu untersuchen, klicken Sie auf die Fehlerzeile und dann auf das Linsensymbol neben der URL, die Sie überprüfen möchten:

Die Search Console zeigt Ihnen die Details an und hilft Ihnen dabei, herauszufinden, was mit der Seite nicht stimmt.

Wenn Sie tiefer in die Materie eintauchen und Empfehlungen dazu erhalten möchten, was Sie beheben müssen, damit eine Seite einwandfrei funktioniert, konsultieren Sie den Abschnitt „Indizierung und Crawlbarkeit“ von WebSite Auditor:

Das Tool erfasst alle fehlerhaften URLs, sodass Sie nicht jede Seite einzeln manuell überprüfen müssen.

Nun sind wir mit dem Teil „Wo zu finden“ fertig. Jetzt ist es an der Zeit, sich anzusehen, welche Arten von Indexierungsproblemen Sie finden können und wie Sie diese beheben können, damit Ihre Website weiterhin gecrawlt und indiziert bleibt.

1. Nicht gefunden (404)

Nicht gefunden (404) oder eine fehlerhafte URL ist wahrscheinlich eines der häufigsten Indexierungsprobleme. Eine Seite kann aus vielen Gründen den Statuscode 404 haben. Angenommen, Sie haben die URL gelöscht, die Seite aber nicht aus der Sitemap entfernt, die URL falsch geschrieben usw.

Wie Google sagt, beeinträchtigen 404-Fehler selbst die Leistung Ihrer Website erst dann, wenn es sich um übermittelte URLs handelt (d. h. solche, die Sie Google ausdrücklich zur Indexierung aufgefordert haben).

Wenn Sie in Ihren Indexierungsberichten 404-URLs sehen, finden Sie hier mögliche Optionen, wie Sie diese beheben können, falls dies nicht beabsichtigt war:

Beachten Sie, dass GSC 404 (nicht gefunden) und 410 (verschwunden) nicht unterscheidet und sie unter dem 404-Bericht zusammenfasst. Früher handelte es sich dabei um verschiedene Arten von Antwortcodes: 404 bedeutete „nicht gefunden, konnte aber später gefunden werden“, während 410 früher für „nicht gefunden und wird nicht so sein, wie es für immer verschwunden ist“ stand.

Was heute angeht, gibt Google an, dass 404 und 410 gleich behandelt werden, sodass Sie sich wahrscheinlich nicht darum kümmern müssen, wenn Sie im 404-Bericht eine 410-Seite finden. Das Einzige, was ich Ihnen empfehlen würde, ist, eine benutzerdefinierte 404-Seite anstelle einer leeren 410-Seite einzurichten, um Traffic zu sparen und zu verhindern, dass Benutzer Ihre Website verlassen.

Viele SEOs und Websitebesitzer haben die Angewohnheit, 404-Fehler auf die Startseite umzuleiten, aber die Wahrheit ist, dass dies nicht die beste Vorgehensweise ist. Dies ist für Google verwirrend und führt zu Soft-404-Problemen. Schauen wir uns mal an, was diese weichen 404er sind.

2. Weich 404

Soft 404-Probleme treten auf, wenn eine Seite eine 200 OK-Antwort hat, Google ihren Inhalt jedoch nicht finden kann und ihn als 404 betrachtet. Soft 404-Fehler können aus vielen Gründen auftreten, und einige davon hängen möglicherweise nicht einmal von Ihnen ab, wie z. B. Fehler in den Browsern der Benutzer. Hier sind einige weitere Gründe:

Diese Probleme sind eigentlich nicht so schwer zu beheben. Hier sind einige häufige Szenarien:

3. Aufgrund unbefugter Anfrage gesperrt (401)

Der Fehler 401 tritt auf, wenn der Googlebot versucht, auf eine Seite zuzugreifen, für die eine Autorisierung erforderlich ist, und Ihr Server den Googlebot daran hindert.

Wenn Sie möchten, dass diese Seite indexiert wird, erteilen Sie Googlebot die entsprechende Berechtigung oder entfernen Sie die Autorisierungsanfrage.

4. Gesperrt wegen Zugriffsverbot (403)

Diese Art von Fehler tritt auf, wenn der Benutzeragent Anmeldeinformationen zum Aufrufen der Seite (Login, Passwort) bereitgestellt hat, ihm jedoch kein Zugriff gewährt wurde, um dies tatsächlich zu tun. Der Googlebot stellt jedoch niemals Anmeldeinformationen bereit, sodass der Server 403 anstelle der beabsichtigten Seite zurückgibt.

Wenn eine Seite versehentlich blockiert wurde und Sie sie tatsächlich indizieren müssen, erlauben Sie nicht angemeldeten Nutzern den Zugriff oder erlauben Sie dem Googlebot ausdrücklich, die Seite zu betreten, um sie zu lesen und zu indizieren.

5. Eingereichte URL mit der Markierung „noindex“

Wie aus dem Namen hervorgeht, tritt dieser Fehler auf, wenn Sie Google explizit auffordern, eine Seite zu indizieren (d. h. sie zur Sitemap hinzufügen oder die Indizierung manuell anfordern), diese Seite jedoch über ein Noindex-Tag verfügt.

Die Lösung ist ganz einfach: Entfernen Sie das Noindex-Tag, damit Google auf die Seite zugreifen kann.

6. URL durch robots.txt blockiert

Wenn Sie eine Seite mithilfe von robots.txt blockieren, wird sie von Google nicht gecrawlt. Entfernen Sie die Einschränkungen, damit die Seite indexiert wird.

Hinweis: Robots.txt ist keine Garantie dafür, dass die Seite nicht indiziert wird. Aus diesem Grund zeigt Ihnen die Google Search Console manchmal etwas wie Folgendes an:

Solche Probleme können für Sie größere Probleme mit sich bringen als nicht indizierte Seiten, da Google möglicherweise auf Informationen zugreift und diese offenlegt, die nie in den SERPs erscheinen sollten (z. B. Einkaufswagen, private Daten usw.).

Wenn Sie auf ein solches Problem stoßen, entscheiden Sie, ob die Seite indexiert werden muss oder nicht. Wenn ja, entfernen Sie die URL aus der robots.txt-Datei. Wenn nicht, entfernen Sie es ebenfalls aus robots.txt, wenden Sie jedoch das Noindex-Tag an oder beschränken Sie den Zugriff für nicht autorisierte Benutzer. Sobald Sie neue Einschränkungen anwenden, können Sie Google auch bitten, die Seite über GSC aus dem Index zu entfernen ( Index > Entfernungen > Neue Anfrage).

7. Indiziert ohne Inhalt

Dies ist eine weitere Art von Problem, das die Leistung Ihrer Website stärker beeinträchtigen kann als nicht indizierte Seiten. Google bevorzugt keine leeren Seiten und wird Ihre Positionen höchstwahrscheinlich senken, da leere Seiten ein Signal für Spam-Websites und minderwertige Inhalte sind.

Wenn Sie feststellen, dass einige Ihrer Seiten den Status „Indiziert ohne Inhalt“ haben, überprüfen Sie die URL manuell, um den Grund herauszufinden. Zum Beispiel:

Ergreifen Sie Maßnahmen, je nachdem, was Sie sehen.

Wenn die Seite beispielsweise viel zu leer ist, fügen Sie mehr Inhalt hinzu. Hier können Sie Ihre SERP-Konkurrenten überprüfen und deren Best Practices mithilfe des Content-Editor- Bereichs von WebSite Auditor befolgen.

Wenn Sie den Verdacht haben, dass auf der betroffenen Seite Rendering-blockierende Inhalte vorhanden sein könnten, überprüfen Sie die Pop-ups, die Skripts von Drittanbietern verwenden, und stellen Sie sicher, dass sie ordnungsgemäß funktionieren und tatsächlich für Google lesbar sind. Alles in allem sollte Google den Inhalt Ihrer Seiten genauso sehen, wie ihn Nutzer sehen.

Wenn der Inhalt Ihrer Seite verdeckt ist, prüfen Sie, ob alle Skripte oder Bilder für Google zugänglich sind.

8. Umleitungsfehler

Die SEO-Community hat viel über URL-Weiterleitungen gesprochen. Dennoch machen SEOs immer wieder Fehler, die zu Weiterleitungsfehlern und einer beschädigten Indexierung führen. Hier sind einige häufige Gründe, warum Google Weiterleitungen nicht richtig lesen kann:

Die einzige Möglichkeit, Weiterleitungsfehler zu beheben, besteht in einem Satz: Weiterleitungen richtig einrichten. Vermeiden Sie lange Weiterleitungsketten, die nur SEO-Crawling-Budget verschwenden und Linkjuice verbrauchen. Stellen Sie sicher, dass sich keine 404- oder 410-URLs in der Kette befinden, und leiten Sie URLs immer auf relevante Seiten um.

9. Serverfehler (5xx)

Serverfehler können auftreten, weil der Server möglicherweise abgestürzt ist, eine Zeitüberschreitung aufgetreten ist oder nicht verfügbar war, als der Googlebot auftauchte.

Hier gilt es zunächst, die betroffene URL zu prüfen. Gehen Sie zum Tool „URL prüfen“ in GSC und prüfen Sie, ob weiterhin ein Fehler angezeigt wird. Wenn alles in Ordnung ist, können Sie nur eine Neuindizierung beantragen.

Sollte weiterhin ein Fehler vorliegen, haben Sie je nach Fehlerart folgende Möglichkeiten:

Nachdem Sie alles behoben haben, fordern Sie eine Neuindizierung an, damit Google die Seite schneller abruft.

10. Duplizieren ohne vom Benutzer ausgewählte Kanonik

Duplikate ohne vom Benutzer ausgewählte kanonische Inhalte sind ein häufiges Problem bei mehrsprachigen und/oder E-Commerce-Websites, die viele Seiten mit identischen oder sehr ähnlichen Inhalten enthalten, die für unterschiedliche Zwecke konzipiert sind. In diesem Fall sollten Sie eine Seite als kanonisch markieren, um Probleme mit doppeltem Inhalt zu vermeiden.

11. Duplikat, Google hat eine andere Kanonik als Benutzer ausgewählt

Das ist eine interessante Sache. Es kann vorkommen, dass Sie eine bestimmte Seite als kanonisch angegeben haben, Google sich jedoch dafür entschieden hat, eine andere Version dieser Seite als kanonisch auszuwählen und sie stattdessen zu indizieren.

Der einfachste Weg, solche Fehler zu beheben, besteht darin, ein Canonical-Tag auf der von Google ausgewählten Seite zu platzieren, um sie in Zukunft nicht zu verwirren. Wenn Sie auf der von Ihnen ausgewählten Seite kanonisch bleiben möchten, können Sie die von Google ausgewählte Seite auf die von Ihnen benötigte URL umleiten.

12. Alternative Seite mit dem richtigen Canonical-Tag

Google indiziert eine Seite nicht, da es sich um ein Duplikat einer kanonischen Seite handelt. Lass es einfach so wie es ist.

13. Entdeckt – derzeit nicht indiziert

Wenn eine Seite den Status „Entdeckt“ hat, hat Google sie bereits entdeckt, aber noch nicht gecrawlt und indiziert. Das einzige, was Sie hier tun können, ist, im Zweifelsfall die Indexierungsanweisungen der Seite zu überprüfen. Wenn alles in Ordnung ist (also so, wie Sie es sich vorgestellt haben), überlassen Sie Google den Rest später.

14. Gecrawlt – derzeit nicht indiziert

Logischerweise bedeutet diese Beschreibung, dass Google Ihre Seite gecrawlt, aber nicht indexiert hat. Die Seite wird indiziert, wenn in den Indizierungsanweisungen nichts Gegenteiliges angegeben ist. Sie müssen nicht um eine Neuindizierung bitten – der Googlebot weiß, dass die Seite darauf wartet, indexiert zu werden.

Überprüfen Sie noch einmal, ob von Google nicht erkannte Indexierungsprobleme vorliegen

Dieser Schritt erfordert WebSite Auditor. Sie können es jetzt kostenlos herunterladen. Herunterladen WebSite Auditor

Die Google Search Console kann Ihnen beim Erkennen und Beheben von Indexierungsproblemen sehr helfen. Aber es wäre zu schön, wenn es kein Aber gäbe. Die Sache ist, dass die Search Console nur dann Probleme anzeigt, wenn Google versucht, eine Seite abzurufen, und dies aus irgendeinem Grund fehlschlägt. Wenn eine solche Seite nicht einmal von Google entdeckt wird, ist das Indexierungsproblem in GSC nicht erkennbar. Obwohl das Problem wichtig sein kann und es tatsächlich viele davon geben kann.

WebSite Auditor kann Ihnen dabei helfen, solche Probleme zu finden und zu beheben. Gehen Sie zu Site-Struktur > Seiten und aktivieren Sie die Spalte „Cache-Datum in Google“ im gewünschten Arbeitsbereich.

Dadurch können Sie das Datum sehen, an dem eine Seite in Google zwischengespeichert wurde.

Schauen Sie sich nun das Cache-Datum an.

Wenn das Datum etwas zu weit zurückliegt (vor mehr als einem Jahr) oder überhaupt fehlt, weiß Google höchstwahrscheinlich nicht, dass die Seite existiert. Und man muss herausfinden, warum.

Schauen Sie sich zunächst die Spalte „Links zur Seite“ im selben Arbeitsbereich an. Wenn keine Links vorhanden sind, handelt es sich um eine verwaiste Seite, die Google beim Crawlen Ihrer Website nicht finden kann. Wenn Sie möchten, dass die Seite indexiert wird, verlinken Sie sie von den relevanten und verkehrsreichen Seiten aus.

Sehen Sie sich auch die Spalte „Robots-Anweisungen“ an und stöbern Sie tiefer in den Seiten, die als „Nicht zulässig“ markiert sind. Es kann sein, dass Sie versehentlich die zur Indexierung vorgesehenen Seiten blockiert haben.

Die Visualisierung ist ein weiteres hilfreiches Modul zum Auffinden von Indexierungsproblemen

Hier können Sie leicht verwaiste Seiten (also solche, die keine Verbindung zu anderen Seiten haben), fehlerhafte Seiten (rot hervorgehoben) und lange Weiterleitungsketten erkennen, die auch der Grund dafür sein können, dass einige Seiten nicht indiziert werden.

Wenn Sie alle Probleme erkannt und behoben haben, bitten Sie das Tool, eine neue Sitemap (und bei Bedarf eine robots.txt-Datei) zu erstellen, die weiter an Google gesendet wird, damit alle benötigten Seiten gefunden werden können.

Wenn Sie eine schnelle Indizierung fester URLs benötigen, können Sie die Neuindizierung manuell in der Google Search Console beantragen.

Etwas zusammenfassen

Überprüfen Sie regelmäßig, wie Ihre Seiten indiziert sind, da jederzeit Fehler auftreten können. Und das aus irgendeinem Grund: von Problemen mit Hosting-Anbietern bis hin zu Google-Bugs und Google-Updates, die sich auf die Art und Weise auswirken können, wie Google-Algorithmen mit Dingen umgehen.

Mit welchen Indexierungsproblemen sind Sie am häufigsten konfrontiert? Teilen Sie Ihre Erfahrungen in unserer Facebook-SEO-Community.