robots.txt – 10 Fehler, die du vermeiden solltest

Der Einsatz einer robots.txt ist sinnvoll. Mit Hilfe dieser Datei können Spidern und Crawlern das Durchsuchen von bestimmten Verzeichnissen und Dateien verboten werden. Beim Erstellen der Datei passieren jedoch häufig kleine Fehler. Diese sorgen dafür, dass du am Ende nicht das gewünschte Ergebnis erzielst.

In diesem Artikel zeige ich zehn häufige Fehler, die du beim Erstellen der robots.txt vermeiden solltest.

Weiterlesen …robots.txt – 10 Fehler, die du vermeiden solltest

robots.txt – so geht’s richtig

Mit Hilfe der robots.txt kann dem Spider einer Suchmaschine, oder anderen Cralwern – also allen Programmen, die deine Webseite indexieren wollen – verboten werden, gewisse Verzeichnisse oder Dateien zu besuchen. Viele Webseiten besitzen jedoch gar keine robots.txt.

Warum die robots.txt wichtig ist und wie du sie richtig anlegen kannst, zeige ich dir in den folgenden Abschnitten.