Am Mittwoch, 18. Juli 2007 14:34 schrieb Al Bogner:
Wie kann ich am besten den Inktomi Slurp aussperren? Der dreht bei manchen Domains durch und vebraucht unnütz Gigabyte an Bandbreite.
Das Problem ist, dass der mit den unterschiedlichsten IP-Adressen daherkommt.
Hi Al, trag in das robots.txt folgendes ein: User-agent: Slurp Disallow: /* Das sollte den Slurp aussperren. Das robots.txt muss in dem Verzeichnis abgelegt sein, das gesperrt werden soll. Wenn die ganze Site gesperrt werden soll, dann in: http://www.meine-page.com/robots.txt Gruss Werner -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org