Am Mittwoch, 18. Juli 2007 16:13 schrieb Al Bogner:
Am Mittwoch, 18. Juli 2007 15:01 schrieb Werner Merz:
Am Mittwoch, 18. Juli 2007 14:34 schrieb Al Bogner:
Wie kann ich am besten den Inktomi Slurp aussperren? Der dreht bei manchen Domains durch und vebraucht unnütz Gigabyte an Bandbreite.
Das Problem ist, dass der mit den unterschiedlichsten IP-Adressen daherkommt.
In meiner vorigen Mail hat sich ein Fehler eingeschlichen. Es soll natürlich heissen:
User-agent: Slurp Disallow: /
Keine Ahnung wie ich das beim Hoster eintragen soll. Ich habe zwar ssh-Zugang, aber ich finde nicht die Datei, wo ich per cpanel und den IP-Deny-Manager eine IP-Adresse gesperrt habe. Jedenfalls finde ich keine robots.txt. Aber irgendwo muß doch konfiguriert sein, dass eine bestimmte IP-Adresse keinen Zugriff hat. Die Textdatei robots.txt sollte per FTP in dasselbe Verzeichnis geladen werden können, wie das index.html der Webseite.
Die seriösen Suchmaschinen halten sich an die Regeln, die in der robots.txt eingetragen sind. Gegen unseriöse hilft es nicht, gewisse IPs abzublocken, da diese Massnahme sehr einfach ausgehebelt werden kann. Ausserdem würdest Du so auch normale Benutzer ausschliessen.
Jetzt wird es leider etwas OT. Ich habe da beim Hoster ein Rechteproblem bzw. negative Erfahrungen, wenn ich etwas händisch konfiguriert habe. Ich muss wahrscheinlich cpanel und den IP-Deny-Manager verwenden und da kann ich nur IP-Adressen oder Domains eintragen. Ich kann mir nicht vorstellen, dass es sinnvoll ist, yahoo.com zu sperren.
Würde ich auch nicht tun.
Allein die Logs der letzten Tage ergeben mehr als 100 verschiedene IP-Adressen.
72.30.177.119 ... 74.6.17.103 ... 74.6.18.10 ... 74.6.19.111 ... 74.6.20.110 ... ... 74.6.87.72
Die Frage ist ob man in diesem IP-Manager einen Bereich so angeben kann: 72.30.177. 74.6. und ob man damit nicht "normale" Surfer auch aussperrt.
Ich probiere das jetzt mal testweise. Warum schreibt man Inktomi nicht dazu?
Ist so auf der Inktomi (Yahoo) Seite beschrieben.
cat robots.txt User-agent: Slurp Disallow: /
Gibt es eine Möglichkeit den Inktomi Slurp nur beschränkt reinzulassen? ZB 1x pro Woche oder wie auch immer. Das Ergebnis sollte sein, dass nicht einige GB für eine Homepageänderung von ein paar kB verbraucht werden. Die anderen Suchmaschinen wie Google kommen auch mit 100-200MB aus.
Auf http://www.robotstxt.org/ findest Du nähere Angaben Gruss Werni -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org