Crawler, Bot und Google Crawler

Der Begriff Crawler ist ein Überbegriff für die Bots / Robots und Spider, die von Suchmaschinen wie Google zum scannen von Websites genutzt werden.

Crawler sind das Basisinstrument von Suchmaschinen wie Google und Co., wenn es um das Auslesen von Inhalten im Internet oder einzelner Webseiten geht. Es handelt sich dabei um ein Programm, das sich selbständig einen eigenen Weg durch die auszulesenden Inhalte über Verlinkungen (intern und extern) bahnt.

Gängige andere Bezeichnungen für Crawler sind daher auch "Robot" (vgl. Google-Bot oder Google Crawler) oder - aufgrund ihrer spinnennetzartig ausgeführten Suche auch "Spider". Sie werden gesteuert über die Datei robots.txt.


Aus SEO-Sicht

Aus Sicht der Suchmaschinenoptimierung (SEO) sind Crawler essenziell.

Denn nur eine Website die gefunden und gecrawlt werden kann, kann durch Suchmaschinen bewertet werden.

Mit folgenden Leistungen unterstütze ich auch Ihr Unternehmen:
Direkt als SEO Freelancer zur Erweiterung Ihres Teams.
Mit einer SEO Betreuung für regelmäßige professionelle Optimierungen.
Mit einer professionellen SEO Beratung zur Analyse und Korrektur möglicher Fehler.

Die Mutter aller Crawler

Die Mutter aller Crawler ist der World Wide Web Wanderer aus den 1990er Jahren. Dieser sollte zunächst nur messen, wie stark das Internet wächst. 1994 entstand der Webcrawler der erste Such-Bot mit Volltextindex, der auch für die Öffentlichkeit zugänglich war.

Wissenswert: Nimmt man alle Aktivitäten aller Crwaler zusammen, so machen diese nach Schätzungen rund ein Drittel des weltweiten Traffics im Internet aus.

SEO Freelancer Matthias Klenk
Ihr persönlicher Ansprechpartner
SEO-Freelancer, Matthias Klenk

Erfahren Sie wie eine korrekte Indexierung durch Google die Sichtbarkeit Ihres Unternehmens verbessert kann. Als Teil einer SEO-Schulung oder einer langfristigen SEO-Betreuung.

SEO-Tools die Experten und Freelancer nutzen
Crawler Bot Definition