Robots.txt

Definition

Die Robots.txt ist eine Textdatei, die auf dem Server einer Website gespeichert wird. Mit ihr wird festgelegt, welche Bereiche einer Website die Crawler von Suchmaschinenanbietern besuchen, erfassen, bewerten und indexieren dürfen.

Da einige Suchmaschinen die robots.txt-Datei (auch Robots-Exclusion-Standard-Protokoll genannt) ignorieren, sollten Unterseiten, die geheime oder nicht-öffentliche Informationen enthalten, mit einen Passwort geschützt werden, damit sie nicht in den SERPs (Suchergebnisseiten) der Anbieter erscheinen.

Robots-txt Definition & SEO

robots.txt - Häufige Fragen & Antworten

Wo wird die robots.txt hinterlegt?

Die Datei ist im Stammverzeichnis (Root Directory) einer Webseite untergebracht und die erste Datei, die von Robots, Crawlern oder Spidern gelesen wird.

Die liegt hier bspw. unter:

https://www.matthiasklenk.de/robots.txt
Wie kann ich Ihr Unternehmen unterstützen?
➤ Mit einer SEO Betreuung zur regelmäßiger professioneller Optimierung.
➤ Direkt als SEO Freelancer zur Erweiterung Ihres Teams.
➤ Mit einer professionellen SEO Beratung zur Analyse und Korrektur?

Was muss in der Robots txt stehen?

Es muss Nichts in der robotx.txt stehen. Bei einer Website die bspw. lediglich aus einer index.html besteht wäre das sinnfrei.

Allerdings nutzen die meisten Content-Management-Systeme bestimmte Ordner für temporäre- oder Cache-Dateien. Um das Crawlbudget nicht zu strapazieren und sinnlose Inhalte auffindbar zu machen sollten solche Ordner per Disallow ausgeschlossen werden.


Ist die robots.txt wichtig für SEO?

Ja. Die robots.txt muss korrekt konfiguriert sein.

Sollte Google hier Probleme entdecken werden diese jedoch in der Google Search Console angezeigt.

Mögliche Fehlermeldungen in der Search Console:
"Durch robots.txt-Datei blockiert"
"Indexiert, obwohl durch robots.txt-Datei blockiert"


Weiterführende Infos:

Robots txt Tester in der Search Console von Google: support.google.com/webmasters/answer/6062598?hl=de

Eine aktualisierte Robots.txt einreichen: developers.google.com/search/docs/crawling-indexing/robots/submit-updated-robots-txt?hl=de

Allgemeine Infos zu Robots.txt: developers.google.com/search/docs/crawling-indexing/robots/intro?hl=de

SEO Freelancer Matthias Klenk
Ihr persönlicher Ansprechpartner
SEO-Freelancer, Matthias Klenk

Keine Ressourcen verfügbar im Unternehmen? Gerne übernehme ich die Optimierung der robots.txt als Teil einer SEO-Betreuung oder direkt als SEO-Freelancer.

SEO-Tools die Experten und Freelancer nutzen