Am Dienstag, 18. Januar 2005 16:08 schrieb Torsten E.:
Ich kann aber doch die Seiten ganz normal anschauen (Konqueror, Firefox), was ist denn da verboten?
Dann probiere doch einmal: wget -r -x --user-agent=Mozilla http://www.faqs.org/docs/artu/
p.s. es gibt dort ein robots.txt. Soweit ich das verstanden habe, soll das ein freundliches "Hier bitte nicht mit automatischen Abfragen weiter grasen!" heißen...
dann ist es aber auch mehr als nett, wenn man zusätzlich noch ein -w X mit X als Zeit in Sekunden hinzufügt, um die Zugriffe etwas mehr zu verteilen ;) denn das er keinen Robot will sollte man an sich schon akzeptieren. BTW: ich glaube, dass er nicht mit einem robot sondern mit htaccess und entsprechender Rewrite-Rule arbeitet, denn auch ein -e robots=off bringt nichts. Andreas