Googlebot

Was ist Googlebot?

Hinter dem Begriff Googlebot versteckt sich der Webcrawler (auch "Spider" genannt) von Google. Es handelt sich dabei um ein Computerprogramm, welches den Inhalt von Webdokumenten (Texte, Bilder) analysiert und in der Google-Suche auffindbar macht. Durch den Googlebot werden somit neue und aktualisierte Webseiten ermittelt und gegebenenfalls dem Google-Index hinzugefügt. Dieser Prozess wird als Crawling bezeichnet.

Neben dem „normalen“ Googlebot gibt es eine Reihe von anderen Crawlern, die auf spezifische Themen ausgerichtet sind. Einige gängige Crawler sind:

  • Googlebot für Nachrichten
  • Googlebot-Images
  • Googlebot für Videos
  • Google Mobile
  • Google Mobile AdSense
  • Google AdSense
  • Google AdsBot

Wie arbeitet der Googlebot?

Der Crawling-Prozess funktioniert so, dass eine Liste von vorhergehenden Crawling-Prozessen generiert wird und diese durch die von den Webmastern bereitgestellten XML-Sitemaps vervollständigt wird. Der Googlebot durchforstet dann diese Liste von Webseiten-URLs und erkennt dabei Links (SRC und HREF), die auf der Seite bereitgestellt werden. Diese fügt er dann der Liste der zu crawlenden Seiten hinzu. Wenn er dabei neue Websites oder Änderungen an bestehenden Websites erkennt, fügt er diese dem Google-Index hinzu.

Aus diesem Grund ist es bei der Suchmaschienenoptimierung auch unerlässlich, seine eigenen Websites untereinander zu verlinken, damit diese beim Crawlingprozess besser entdeckt werden können.

Wie oft eine Webseite gecrawlt wird, ist von den Algorithmen von Google abhängig. Grundsätzlich lässt sich sagen, je bekannter eine Webseite im Internet ist, desto häufiger kommt der Googlebot bei dieser Webseite vorbei.

Seiten für den Googlebot unzugänglich machen?

Um zu verhindern, dass der Googlebot bestimmten Content der Webseite crawlt, kann mithilfe des robots.txt der Zugriff auf Dateien und Verzeichnisse verweigert werden. Die Datei robots.txt wird im obersten Verzeichnisses des Servers hinterlegt.

Sicherstellen, dass die Webseite vom Googlebot gecrawlt wird

Um sicherzustellen, dass der Googlebot die Webseite crawlt, sollten die Crawling-Fehler in Webmaster-Tools regelmäßig überprüft werden.

Tags dieser Seite: googlebot, spider
SEO Glossar und Lexikon