Crawler

Was ist ein Crawler?

Alternative Bezeichnung(en):

  • Bot
  • Google Bot

Crawler - Definition und Erklärung

Crawler sind das Basisinstrument von Suchmaschinen wie Google und Co., wenn es um das Auslesen von Inhalten im Internet oder einzelner Webseiten geht. Es handelt sich dabei um ein Programm, das sich selbständig einen eigenen Weg durch die auszulesenden Inhalte bahnt. Gängige andere Bezeichnungen für Crawler sind daher auch "Robot" (vgl. Google-Bot) oder - aufgrund ihrer spinnennetzartig ausgeführten Suche auch "Spider". Sie werden gesteuert über die Datei robots.txt.

Zusatzinfos: Crawler

Die Mutter aller Crawler ist der World Wide Web Wanderer aus den 1990er Jahren. Dieser sollte zunächst nur messen, wie stark das Internet wächst. 1994 entstand der Webcrawler der erste Such-Bot mit Volltextindex, der auch für die Öffentlichkeit zugänglich war.

Wissenswert: Nimmt man alle Aktivitäten aller Suchmaschinenrobots zusammen, so machen diese nach Schätzungen rund ein Drittel des weltweiten Traffics im Internet aus.

<< Zurück zum SEO Glossar

Bei Fragen zum Thema Crawler oder zu anderen Definitionen, Erklärungen, Bedeutungen im SEO Glossar oder anderen Fragen zum Thema SEO stehe ich gerne zur Verfügung.


Langfristige SEO Betreuung für mehr Umsatz
  • Langfristige Betreuung
  • SEO-Freelancer als Ansprechpartner
  • Mehr Sichtbarkeit und Traffic bei Google
  • Nachhaltig durch direkte Optimierungen

Geeignet für KMU, Onlineshops und Selbständige.

SEO Freelancer Matthias Klenk
Ihr persönlicher Ansprechpartner
Matthias Klenk, SEO-Freelancer

Erfahren Sie wie eine korrekte Indexierung durch Google die Sichtbarkeit Ihres Unternehmens verbessert kann. Als Teil einer SEO-Schulung!
Oder lassen Sie Ihre Webseite betreuen mit einer langfristigen SEO-Betreuung.

Nutzen Sie das Kontaktformular für eine Anfrage oder vereinbaren Sie direkt ein Online-Meeting.

Ihr Matthias Klenk

Vereinbaren Sie eine kostenlose Erstberatung oder fragen Sie direkt an:

Direkt anfragenUnverbindlich & kostenlos

Crawler Bot Definition