Mailinglist Archive: opensuse-de (1512 mails)

[Werner Merz <suse.merz@xxxxxxxxxx>]

Am Mittwoch, 18. Juli 2007 16:13 schrieb Al Bogner:
> Am Mittwoch, 18. Juli 2007 15:01 schrieb Werner Merz:
> > Am Mittwoch, 18. Juli 2007 14:34 schrieb Al Bogner:
> > > Wie kann ich am besten den Inktomi Slurp aussperren? Der dreht bei
> > > manchen Domains durch und vebraucht unnütz Gigabyte an Bandbreite.
> > >
> > > Das Problem ist, dass der mit den unterschiedlichsten IP-Adressen
> > > daherkommt.
> >
> > In meiner vorigen Mail hat sich ein Fehler eingeschlichen. Es soll
> > natürlich heissen:
> >
> > User-agent: Slurp
> > Disallow: /
>
> Keine Ahnung wie ich das beim Hoster eintragen soll. Ich habe zwar
> ssh-Zugang, aber ich finde nicht die Datei, wo ich per cpanel und den
> IP-Deny-Manager eine IP-Adresse gesperrt habe. Jedenfalls finde ich keine
> robots.txt. Aber irgendwo muß doch konfiguriert sein, dass eine bestimmte
> IP-Adresse keinen Zugriff hat.
Die Textdatei robots.txt sollte per FTP in dasselbe Verzeichnis geladen werden 
können, wie das index.html der Webseite.

Die seriösen Suchmaschinen halten sich an die Regeln, die in der robots.txt 
eingetragen sind.
Gegen unseriöse hilft es nicht, gewisse IPs abzublocken, da diese Massnahme 
sehr einfach ausgehebelt werden kann. Ausserdem würdest Du so auch normale 
Benutzer ausschliessen.
> Jetzt wird es leider etwas OT. Ich habe da beim Hoster ein
> Rechteproblem bzw. negative Erfahrungen, wenn ich etwas händisch
> konfiguriert habe. Ich muss wahrscheinlich cpanel und den IP-Deny-Manager
> verwenden und da kann ich nur IP-Adressen oder Domains eintragen. Ich kann
> mir nicht vorstellen, dass es sinnvoll ist, yahoo.com zu sperren.
Würde ich auch nicht tun.
> Allein die Logs der letzten Tage ergeben mehr als 100 verschiedene
> IP-Adressen.
>
> 72.30.177.119
> ...
> 74.6.17.103
> ...
> 74.6.18.10
> ...
> 74.6.19.111
> ...
> 74.6.20.110
> ...
> ...
> 74.6.87.72
>
>
> Die Frage ist ob man in diesem IP-Manager einen Bereich so angeben kann:
> 72.30.177.
> 74.6.
> und ob man damit nicht "normale" Surfer auch aussperrt.

> Ich probiere das jetzt mal testweise. Warum schreibt man Inktomi nicht
> dazu?
Ist so auf der Inktomi (Yahoo) Seite beschrieben.
> cat robots.txt
> User-agent: Slurp
> Disallow: /
>
> Gibt es eine Möglichkeit den Inktomi Slurp nur beschränkt reinzulassen? ZB
> 1x pro Woche oder wie auch immer. Das Ergebnis sollte sein, dass nicht
> einige GB für eine Homepageänderung von ein paar kB verbraucht werden. Die
> anderen Suchmaschinen wie Google kommen auch mit 100-200MB aus.
Auf http://www.robotstxt.org/ findest Du nähere Angaben

Gruss
Werni
--
Um die Liste abzubestellen, schicken Sie eine Mail an:
    opensuse-de+unsubscribe@xxxxxxxxxxxx
Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken
Sie eine Mail an: opensuse-de+help@xxxxxxxxxxxx