Robots.txt Erklärung im SEO Glossar

Robots.txt

Wofür steht robots.txt?

Robots.txt - Definition und Erklärung

Robots.txt ist eine Textdatei, die auf dem Server einer Webseite gespeichert wird. Mit ihr kann man bestimmen, welche Unterseiten einer Webseite die Crawler von Suchmaschinenanbietern besuchen, erfassen, bewerten und indexieren dürfen. Da einige Suchmaschinen die robots.txt-Datei ignorieren, sollten Unterseiten, die geheime oder nicht-öffentliche Informationen enthalten, mit einen Passwort geschützt werden, damit sie nicht in den SERPs (Suchergebnisseiten) der Anbieter erscheinen.

Robots.txt: Zusatzinfos

Die Datei ist im Stammverzeichnis (Root Directory) einer Webseite untergebracht und die erste Datei, die von Robots, Crawlern oder Spidern gelesen wird.

Die liegt hier bspw. unter:

https://www.matthiasklenk.de/robots.txt

<< Zurück zum SEO Glossar

Bei Fragen zum Thema Robots.txt oder zu anderen Definitionen, Erklärungen, Bedeutungen im SEO Glossar oder anderen Fragen zum Thema SEO stehe ich gerne zur Verfügung.


SEO Freelancer Matthias Klenk

Ihr persönlicher Ansprechpartner

Webdesign- & SEO-Freelancer

Sie haben einen Fehler gefunden? Sie vermissen eine Definition? Einfach melden...

Nutzen Sie das Kontaktformular oder rufen Sie direkt an. 

Ihr Matthias Klenk

Projekt anfragen >

kostenlos & unverbindlich