Mailinglist Archive: opensuse-de (3671 mails)

[Andreas Loesch <suseliste@xxxxxxxxx>]

Am Dienstag, 18. Januar 2005 16:08 schrieb Torsten E.:

> > > Ich kann aber doch die Seiten ganz normal anschauen (Konqueror,
> > > Firefox), was ist denn da verboten?
>
> Dann probiere doch einmal:
> wget -r -x --user-agent=Mozilla http://www.faqs.org/docs/artu/

> > p.s. es gibt dort ein robots.txt. Soweit ich das verstanden habe,
> > soll das ein freundliches "Hier bitte nicht mit automatischen
> > Abfragen weiter grasen!" heißen...


dann ist es aber auch mehr als nett, wenn man zusätzlich noch ein -w X mit 
X als Zeit in Sekunden hinzufügt, um die Zugriffe etwas mehr zu 
verteilen ;) denn das er keinen Robot will sollte man an sich schon 
akzeptieren.

BTW: ich glaube, dass er nicht mit einem robot sondern mit htaccess und 
entsprechender Rewrite-Rule arbeitet, denn auch ein -e robots=off bringt 
nichts.

Andreas