Robots.txt Erklärung im SEO Glossar

Robots.txt

Wofür steht robots.txt?

Robots.txt - Definition und Erklärung

Die Robots.txt ist eine Textdatei, die auf dem Server einer Webseite gespeichert wird. Mit ihr kann man festlegen, welche Unterseiten einer Webseite die Crawler von Suchmaschinenanbietern besuchen, erfassen, bewerten und indexieren dürfen.

Da einige Suchmaschinen die robots.txt-Datei ignorieren, sollten Unterseiten, die geheime oder nicht-öffentliche Informationen enthalten, mit einen Passwort geschützt werden, damit sie nicht in den SERPs (Suchergebnisseiten) der Anbieter erscheinen.

Die Datei ist im Stammverzeichnis (Root Directory) einer Webseite untergebracht und die erste Datei, die von Robots, Crawlern oder Spidern gelesen wird.

Die liegt hier bspw. unter:

https://www.matthiasklenk.de/robots.txt

Zusatzinfos: Robots.txt

Weiterführende Infos:

Robots txt Tester in der Seaarch Console von Google: https://support.google.com/webmasters/answer/6062598?hl=en

Eine aktualisierte Robots.txt einreichen: https://developers.google.com/search/docs/advanced/robots/submit-updated-robots-txt

Allgemeine Infos zu Robot.txt: https://developers.google.com/search/docs/advanced/robots/intro

<< Zurück zum SEO Glossar

Bei Fragen zum Thema Robots.txt oder zu anderen Definitionen, Erklärungen, Bedeutungen im SEO Glossar oder anderen Fragen zum Thema SEO stehe ich gerne zur Verfügung.


SEO Freelancer Matthias Klenk
Ihr persönlicher Ansprechpartner
Matthias Klenk, SEO-Freelancer

Sie haben einen Fehler gefunden? Sie vermissen eine Definition? Einfach melden...

Nutzen Sie das Kontaktformular oder rufen Sie direkt an. 

Ihr Matthias Klenk

👉 Direkt anfragen

oder Online Termin vereinbaren