Robots.txt - Anweisungen für Suchmaschinen

Wozu braucht eine Homepage eine robots.txt-Datei? Eigentlich brauchen Sie nicht unbedingt eine robots.txt. Die robots.txt gibt dem sogenannten Robot oder Spider (so wird das Programm genannt, welches für die Suchmaschinen Homepage besucht und für die Datenbank der Suchmaschinen indiziert) Anweisungen, welche Verzeichnisse oder Seiten Ihrer Homepage er nicht durchsuchen darf (einfach formuliert). Wenn Sie keine robots.txt definieren, sucht der Robot die Datei und findet sie nicht. Das heißt dann für den Robot: er darf alles durchsuchen.

Achtung: Eine robots.txt-Datei brauchen Sie nur bei eigener Domain. Denn Sie müssen die robots.txt in Ihrem Hauptverzeichnis aufspielen. Wenn Ihre Domain z.B. www.fireball.de ist, muß Ihre robots.txt unter www.fireball.de/robots.txt zu finden sein. Wenn Ihre Homepage eine Unterdomain ist (z.B. http://members.geocity....), brauchen Sie keine robots.txt!!! Denn Ihre Homepage liegt dann in einem Unterverzeichnis. Und in Unterverzeichnissen suchen die Robots nicht nach robots.txt-Dateien.

Gründe, eine robots.txt-Datei zu erstellen:

• Bestimmte Verzeichnisse sollen nicht von den robots durchsucht werden, z.B. die Logdateien oder interne Bereiche.
• Jede nicht gefundene robots.txt wird in der Statistik unter Error 404 aufgeführt. Seit wir bei unserer Homepage eine robots.txt aufgespielt haben, ist der Prozentsatz Error 404 von 1,29 % auf 0,05 % der Seitenabrufe gesunken.
• Die Suchmaschinen durchsuchen Ihre Seite vielleicht einfach besser, wenn Sie eine offizielle Erlaubnis durch Ihre robots.txt bekommen.
• Ich möchte bestimmten Suchmaschinen verbieten, meine Homepage zu indizieren. Oder andersherum kann ich auch nur bestimmten Suchmaschinen erlauben, meine Homepage zu indizieren.

Ganz einfach können Sie eine robots.txt-Datei mit unserem Robots-TXT Generator erstellen.

Weitere Infos zu robots.txt-Dateien finden Sie auf folgenden Webseiten:

• www.robotstxt.de - Robots-TXT-Generator
• www.robotstxt.org/wc/robots.html - The Web Robots Pages
• www.searchcode.de/artikel/robotstxt.php - Informationen zu robots.txt
• www.suchfibel.de/6gefunden/robotstxt.htm - Infos über robots.txt-Dateien
• Topsubmit.de Robots.txt Generator - hier können Sie sich online eine robots.txt-Datei generieren
• und außer Konkurrenz die folgenden Webseite:
  
  www.robotstories.com - Cartoons über Roboter...
  
  

Weitere Rubriken und Links, die für Sie interessant sein könnten:

• Check - prüfen Sie Ihre Homepage auf Fehler
• Eintrag - tragen Sie Ihre Homepage in Suchmaschinen ein