robots.txt – so geht’s richtig

Mit Hilfe der robots.txt kann dem Spider einer Suchmaschine, oder anderen Cralwern – also allen Programmen, die deine Webseite indexieren wollen – verboten werden, gewisse Verzeichnisse oder Dateien zu besuchen. Viele Webseiten besitzen jedoch gar keine robots.txt.

Warum die robots.txt wichtig ist und wie du sie richtig anlegen kannst, zeige ich dir in den folgenden Abschnitten.

Mehr lesen