Robots.txt Generator

Schritt 2
Jetzt erfolgt die Auswahl der Spider, die gesperrt werden sollen. Die bereits eingetragenen Spider-Namen stellen nur eine bisher gesammelte Liste dar.

Eine mehrfache Auswahl ist möglich!


Wenn Sie zusätzliche Spider-Namen, die nicht in der Liste stehen, sperren wollen, tragen Sie diese mit der genauen Bezeichnung ein. Die genaue Bezeichnung sollten Sie evtl. aus Ihrer Log-Datei kopieren.
Spider:  
1 Spider pro Zeile!



Jetzt erfolgt die Eingabe der Verzeichnisse, die gesperrt werden sollen.
Bitte nur den relativen Pfad ohne den Domain-Namen eingeben:

Beispiele:   /cgi-bin/
/usage/index.html
/main.html

Eingabe der gesperrten Pfade: