Am Mittwoch, 18. Juli 2007 15:01 schrieb Werner Merz:
Am Mittwoch, 18. Juli 2007 14:34 schrieb Al Bogner:
Wie kann ich am besten den Inktomi Slurp aussperren? Der dreht bei manchen Domains durch und vebraucht unnütz Gigabyte an Bandbreite.
Das Problem ist, dass der mit den unterschiedlichsten IP-Adressen daherkommt.
In meiner vorigen Mail hat sich ein Fehler eingeschlichen. Es soll natürlich heissen:
User-agent: Slurp Disallow: /
Keine Ahnung wie ich das beim Hoster eintragen soll. Ich habe zwar ssh-Zugang, aber ich finde nicht die Datei, wo ich per cpanel und den IP-Deny-Manager eine IP-Adresse gesperrt habe. Jedenfalls finde ich keine robots.txt. Aber irgendwo muß doch konfiguriert sein, dass eine bestimmte IP-Adresse keinen Zugriff hat. Jetzt wird es leider etwas OT. Ich habe da beim Hoster ein Rechteproblem bzw. negative Erfahrungen, wenn ich etwas händisch konfiguriert habe. Ich muss wahrscheinlich cpanel und den IP-Deny-Manager verwenden und da kann ich nur IP-Adressen oder Domains eintragen. Ich kann mir nicht vorstellen, dass es sinnvoll ist, yahoo.com zu sperren. Allein die Logs der letzten Tage ergeben mehr als 100 verschiedene IP-Adressen. 72.30.177.119 ... 74.6.17.103 ... 74.6.18.10 ... 74.6.19.111 ... 74.6.20.110 ... ... 74.6.87.72 Die Frage ist ob man in diesem IP-Manager einen Bereich so angeben kann: 72.30.177. 74.6. und ob man damit nicht "normale" Surfer auch aussperrt. Ich probiere das jetzt mal testweise. Warum schreibt man Inktomi nicht dazu? cat robots.txt User-agent: Slurp Disallow: / Gibt es eine Möglichkeit den Inktomi Slurp nur beschränkt reinzulassen? ZB 1x pro Woche oder wie auch immer. Das Ergebnis sollte sein, dass nicht einige GB für eine Homepageänderung von ein paar kB verbraucht werden. Die anderen Suchmaschinen wie Google kommen auch mit 100-200MB aus. Al -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org