Jede Website – sei es ein Unternehmensblog oder ein E-Commerce-Shop – durchläuft mehrere wichtige Phasen der “Geburt”. Nach der Erstellung und dem ersten Inhalt ist es wichtig, dass die Website von den Suchmaschinen indiziert wird (im Folgenden als “PS” bezeichnet). Wie das geschieht:
Die PS-Roboter “sehen”, dass eine neue Website (oder Seite) erstellt worden ist.
Sie planen, es zu “kriechen”.
Sie fragen den Inhalt der Website ab und analysieren ihn anhand einer Reihe von Parametern.
Wenn alles den Anforderungen entspricht, wird die Website/Seite in den Index (eine Art “Register” des PS) aufgenommen und in die Ergebnisse der Suchmaschine aufgenommen.
Wenn ein Nutzer eine Suchanfrage in die Suchmaschine eingibt, prüft der Dienst diese mit den indizierten Daten und zeigt die relevantesten Seiten an. Aber wenn die Website wurde durch Probleme (Fehler, niedrige Einzigartigkeit der Texte, etc.) indiziert – PS kann “Sanktionen” zu verhängen und senken die Position der Website in der Prominenz. Oder Sie können sie sogar aus der Liste der empfohlenen Suchbegriffe ausschließen.
Technologie zur Indizierung der Website in Google
Google kann Websites auf unterschiedliche Weise indexieren. Google hat eine “mobile-first”-Regel: Die Suchroboter (Crawler) berücksichtigen die mobile Version der Website und weisen ihr einen Index zu. Wenn sie also im Vergleich zur Desktop-Version schlechter abschneidet, Fehler enthält oder nicht die volle Funktionalität aufweist, kann sie Einschränkungen unterliegen.
Auf die Häufigkeit der Validierung der Website Crawler und Indizierung der Website in Google wirkt sich die so genannte “Crawling-Budget”: Je mehr es ist – desto häufiger und schneller überprüfen Website. Es wird angenommen, dass das Alter der Website und die Häufigkeit der Inhaltsaktualisierungen einen positiven Einfluss auf die Höhe des “Crawling-Budgets” haben.
Wie kann ich überprüfen, ob meine Website indiziert ist?
Es gibt mehrere Möglichkeiten zu überprüfen, ob Ihre Website indiziert ist:
Durch eine Sitemap (die Datei befindet sich unter: sitemap/sitemap.xml). Dies ist besonders wichtig für die Indizierung der Website in Google. Es besteht jedoch die Gefahr, dass einige URL-Seiten nicht korrekt angezeigt werden.
Durch spezielle Befehlssätze – Suchoperatoren. Am einfachsten ist es, wenn Sie “site:” in die Adressleiste eingeben und die vollständige URL Ihrer Ressource hinzufügen. In der Zeile darunter wird die Anzahl der indizierten Seiten angezeigt.
Überprüfung der Indizierung mit Operatoren
Verwendung von Validierungs-Plugins (SEO Magic, RDS-Bar, etc.). Ihr Vorteil ist, dass Sie nicht jedes Mal zum PS gehen und eine Abfrage eingeben müssen, sie funktionieren automatisch.
Indizierungsfaktoren und ihre Auswirkungen auf Suchmaschinen
Es gibt mehrere Faktoren, die die Indizierung von Seiten und Inhalten auf Ihrer Website beeinflussen:
Die Datei robots.txt. Sie enthält “Hinweise” für Crawler: welche Seiten auf der Website indiziert werden können und welche nicht. Die Auswirkungen auf die Indizierung dieser Datei hängt von der Art der PS, aber die wichtigsten – Google, ist es zu berücksichtigen.
Der Meta-Tag <meta name=”robots” enthält Befehle für die Crawler der Suchmaschinen (und kann auf Wunsch auch konfiguriert werden), die ihnen mitteilen, wie sie die Seiten am besten indizieren sollen.
In der Serversoftware der Website können Sie HTTP-Antworten zu den X-Robots-Tag-Headern hinzufügen, die die in den Dateien .htaccess und httpd.conf angegebenen Einstellungen enthalten. Die darin enthaltenen Befehle werden von allen Crawlern ausgeführt.