robots.txt – 10 Fehler, die du vermeiden solltest

Der Einsatz einer robots.txt ist sinnvoll. Mit Hilfe dieser Datei können Spidern und Crawlern das Durchsuchen von bestimmten Verzeichnissen und Dateien verboten werden. Beim Erstellen der Datei passieren jedoch häufig kleine Fehler. Diese sorgen dafür, dass du am Ende nicht das gewünschte Ergebnis erzielst.… Weiterlesen

robots.txt – so geht’s richtig

Mit Hilfe der robots.txt kann dem Spider einer Suchmaschine verboten werden, gewisse Verzeichnisse oder Dateien zu besuchen. Das gilt auch für andere Programme, die eine Website indexieren. Viele Webseiten besitzen jedoch gar keine robots.txt.

Warum diese Datei wichtig ist und wie du sie richtig anlegen kannst, zeige ich dir in den folgenden Abschnitten.… Weiterlesen