robots.txt – so geht’s richtig

Mit Hilfe der robots.txt kann dem Spider einer Suchmaschine verboten werden, gewisse Verzeichnisse oder Dateien zu besuchen. Das gilt auch für andere Programme, die eine Website indexieren. Viele Webseiten besitzen jedoch gar keine robots.txt.

Warum diese Datei wichtig ist und wie du sie richtig anlegen kannst, zeige ich dir in den folgenden Abschnitten.

 

Welche Vorteile bietet die robots.txt?

Die Erstellung der kleinen Datei ist immer dann wichtig, wenn Google & Co. gewisse Bereiche deiner Website nicht durchsuchen sollen. Zum Beispiel:

  • Mitgliedsbereiche, die nicht in den Suchergebnissen erscheinen sollen.
  • Unfertige Inhalte, die Suchmaschinen noch nicht bewerten sollen.
  • Andere Inhalte, die nicht unbedingt in den SERPs von Google & Co. erscheinen sollen.

Wie du siehst, gibt es verschiedene Gründe, bestimmte Verzeichnisse für Suchmaschinen nicht freizugeben.

 

Robots.txt erstellen

Eine robots.txt zu erstellen ist kinderleicht. Du musst dazu einfach eine neue Textdatei anlegen. Diese speicherst du anschließend unter dem Namen „robots.txt“ ab. Wichtig ist, dass Namen und Endung der Datei klein geschrieben ist.

Diese Datei musst du nun im Hauptverzeichnis (root) deiner Webseite ablegen. Wenn deine Domain also „http://www.deine-seite.de/“ heißt, muss der Pfad zur robots.txt so aussehen: http://www.deine-seite.de/robots.txt

 

Aufbau der robots.txt

Die Datei ist relativ simpel aufgebaut. Du legst zunächst fest, welchen Crawler du den Zugriff auf ein bestimmtes Verzeichnis verweigern möchtest. Das machst du mit dem so genannten User-agent. Danach legst du die Aktion fest, die du diesem Robot zuweisen möchtest. Zum Schluss folgt das Verzeichnis, für das die Anweisung gelten soll.

 

Beispiel:

User-agent: *
Disallow: /geheim/
Disallow: /privat/
Disallow: /konfiguration.php

User-agent: fiktiver-robot1
Disallow: /forum/

 

Erklärung:

Mit dem obigen Beispiel verbietest du allen Robots den Zugriff auf die Verzeichnisse „geheim“ und „privat“. Dies definierst du durch das Sternchen. Zudem dürfen sie die „konfiguration.php“ nicht anrühren. Der fiktive „Robot1“ darf des Weiteren auch das Forum nicht durchforsten.

Der Grundaufbau ist dabei immer gleich. Du kannst sowohl allen Robots (*), als auch einzelnen Robots den Zugriff auf verschiedene Verzeichnisse oder einzelne Dateien verweigern.

 

Warnung:

Die meisten Robots halten sich an die Anweisungen in der Datei. Manche tun dies jedoch nicht. Daher ist sie nicht als Mittel zum Datenschutz anzusehen! Sie soll vielmehr ein Steuerungselement für Google & Co. darstellen. Private Daten sind also auch weiterhin nur mit einer starken Verschlüsselung zu speichern.

Browser ignorieren die Angaben ebenfalls. Man kann also nach wie vor die Verzeichnisse einsehen, wenn diese nicht separat vor einem Zugriff geschützt sind.

 


Dir gefällt dieser Artikel?

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.