Robots.txt

Definition

Die Robots.txt ist eine Textdatei, die auf dem Server einer Webseite gespeichert wird. Mit ihr wird festgelegt, welche Bereiche einer Website die Crawler von Suchmaschinenanbietern besuchen, erfassen, bewerten und indexieren dürfen.

Da einige Suchmaschinen die robots.txt-Datei (auch Robots-Exclusion-Standard-Protokoll genannt) ignorieren, sollten Unterseiten, die geheime oder nicht-öffentliche Informationen enthalten, mit einen Passwort geschützt werden, damit sie nicht in den SERPs (Suchergebnisseiten) der Anbieter erscheinen.

FAQ zur robots.txt

Wo wird die robots.txt hinterlegt?

Die Datei ist im Stammverzeichnis (Root Directory) einer Webseite untergebracht und die erste Datei, die von Robots, Crawlern oder Spidern gelesen wird.

Die liegt hier bspw. unter:

https://www.matthiasklenk.de/robots.txt

Was muss in der Robots txt stehen?

Es muss Nichts in der robotx.txt stehen. Bei einer Website die bspw. lediglich aus einer index.html besteht wäre das sinnfrei.

Allerdings nutzen die meisten Content-Management-Systeme bestimmte Ordner für temporäre- oder Cache-Dateien. Um das Crawlbudget nicht zu strapazieren und sinnlose Inhalte auffindbar zu machen sollten solche Ordner per Disallow ausgeschlossen werden.

Ist die robots.txt wichtig für SEO?

Ja. Die robots.txt muss korrekt konfiguriert sein.

Sollte Google hier Probleme entdecken werden diese jedoch in der Google Search Console angezeigt.

Mögliche Fehlermeldungen in der Search Console:
"Durch robots.txt-Datei blockiert"
"Indexiert, obwohl durch robots.txt-Datei blockiert"

Weiterführende Infos:

Robots txt Tester in der Search Console von Google: https://support.google.com/webmasters/answer/6062598?hl=de

Eine aktualisierte Robots.txt einreichen: https://developers.google.com/search/docs/advanced/robots/submit-updated-robots-txt

Allgemeine Infos zu Robots.txt: https://developers.google.com/search/docs/advanced/robots/intro


Mit einer SEO-Betreuung für Unternehmen entscheiden Sie sich für das Gesamtpaket für bessere Rankings, mehr Sichtbarkeit und höhere Umsätze direkt vom SEO-Freelancer.
SEO Freelancer Matthias Klenk
Ihr persönlicher Ansprechpartner
SEO-Freelancer, Matthias Klenk

Keine Ressourcen verfügbar im Unternehmen? Gerne übernehme ich die Optimierung der robots.txt als Teil einer SEO-Betreuung oder direkt als SEO-Freelancer.

Vereinbaren Sie eine unverbindliche Erstberatung oder fragen Sie direkt an:

Direkt anfragenUnverbindlich und kostenlos

Robots.txt Erklärung im SEO Glossar