Webmasterwissen
robots.txt - 10 Fehler, die Sie vermeiden sollten
- Details
- Veröffentlicht am Montag, 16. März 2009 12:10
- Geschrieben von Jan Pionzewski
Der Einsatz einer robots.txt ist sinnvoll. Mit Hilfe der robots.txt können Spidern und Crawlern das Durchsuchen von privaten Verzeichnissen und Dateien verboten werden. Doch beim Erstellen der robots.txt passieren häufig kleine Fehler, die dafür sorgen, dass am Ende nicht das gewünschte Ergebnis erzielt wird.
Dieser Artikel zeigt Ihnen die zehn häufigsten Fehler, die beim Erstellen der robots.txt gemacht werden und die Sie vermeiden sollten.
1. Die robots.txt nicht im Root-Verzeichnis abspeichern
Der Fehler, der am häufigsten gemacht wird ist, die robots.txt nicht im Root-Verzeichnis der Webseite abzulegen. Die Spiderbots und Crawler durchsuchen in der Regel nur das Root-Verzeichnis nach dem Vorhandensein einer robots.txt. Unterverzeichnisse werden dabei meist ignoriert. Daher sollten Sie darauf achten, die robots.txt stets im Root-Verzeichnis Ihrer Webseite abzulegen.Die korrekte URL für Ihre robots.txt müsste also lauten: http://www.example.org/robots.txt
2. Benutzen einer falschen Syntax
Damit die Einträge in der robots.txt auch wirklich greifen, muss eine korrekte Syntax verwendet werden. So fangen zum Beispiel alle Einträge für Verzeichniss und Dateien stets mit einem führenden Slash an.Beispiel:
User-agent: *
Disallow: /private.htm
Disallow: /private/
Die korrekte Syntax der robots.txt kann man auch mit einigen Tools online überprüfen lassen, so zum Beispiel mit dem Robots.txt Checker.
3. Eine leere robots.txt
Eine robots.txt funktioniert natürlich nur dann, wenn diese auch mit entsprechenden Anweisungen für die Robots gefüllt wird. Eine leere robots.txt wird hingegen ignoriert, als ob sie gar nicht da wäre. Wenn Sie also eine robots.txt einsetzen möchten, sollten Sie diese auch immer mit Inhalt füllen. Ansonsten lassen Sie sie einfach weg.4. Unterschiede zwischen Groß- und Kleinschreibung
Viele Webserver unterscheiden zwischen Groß- und Kleinschreibung. So ist die Private.htm eine andere Datei als die private.htm. Sollten Sie auf Ihrem Webserver Verzeichnisse und Dateien nicht durchgängig klein geschrieben haben (was Sie, um Fehler zu vermeiden, sowieso immer tun sollten), achten Sie auch auf die korrekte Schreibweise in der robots.txt5. Kommentarzeilen nicht an den Anfang des Blocks stellen.
Wenn Sie in der robots.txt Kommentarzeilen verwenden, sollten diese immer am Anfang eines Blocks stehen. Außerdem muss jede Kommentarzeile mit einem führenden Rautenzeichen beginnen.Beispiel:
# Private Dateien blockieren
User-agent: *
Disallow: /private/
6. Verzeichnisse blockieren, die indexiert werden sollen
Sie sollten immer darauf achten, Verzeichnisse, die indexiert werden sollen, nicht unter dem Punkt Disallow: zu setzen. Auch wenn die Seitenstruktur sich mal ändern sollte, sollten Sie die robots.txt auf eventuelle Fehler hin überprüfen. Ansonsten kann es vorkommen, dass Sie ungewollt Verzeichnisse und Dateien sperren, die eigentlich doch in den Index der Suchmaschinen landen sollen.7. Alle Verzeichnisse in eine Reihe stellen
Auch ein häufig gemachter Fehler ist, mehrere Verzeichnisse und Dateien unter einem einzigen Disallow: zu stellen. Verwenden Sie für jedes Verzeichnis eine eigene Zeile mit einem eigenen Disallow:Gutes Beispiel:
User-agent: *
Disallow: /private/
Disallow: /private.htm
Disallow: /grafiken/
Schlechtes Beispiel:
User-agent: *
Disallow: /private/ /grafiken/ /private.htm
8. Falsch geschriebene Namen
Die Bots ignorieren alle Einträge, wenn deren Namen falsch geschrieben wurde. Wenn Sie also einzelne Bots Zugang zu bestimmten Verzeichnissen erlauben wollen bzw. nicht erlauben wollen, überprüfen Sie immer die richtige Schreibweise dieser Bots oder User-Agents.Eine Hilfe kann hier bei die Webseite UserAgentString.com sein, auf der Sie eine Liste für verschiedene User-Agents finden.
9. Fehlende Doppelpunkte
Tippfehler oder einfaches Übersehen können dazu führen, dass der Doppelpunkt nach einem User-Agent-Eintrag oder einem Disallow: nicht gesetzt wird. Das führt dazu, dass diese Einträge ignoriert werden. Überprüfen Sie daher immer, ob nach jedem Disallow: und nach jedem User-Agent-Eintrag ein Doppelpunkt steht.Gutes Beispiel:
User-agent: *
Disallow: /private/
Schlechtes Beispiel:
User-agent: *
Disallow /private/
