Hi On Thursday 10 July 2003 11:12, Thilo A. Coblenzer wrote:
Also ersteinmal: wget http://slashdot.org/palm/headlines_1.shtml Ok, wenigstens das funtkioniert. Dann aber: wget -r http://slashdot.org/palm/headlines_1.shtml Geht nicht!
Ich habe nochmal die manpage durchforstet. Offenbar haben die Programmierer von wget daran gedacht, dass man wget auch missbrauchen könnte. <========== ..... Wget can follow links in HTML pages and create local ver sions of remote web sites, fully recreating the directory structure of the original site. This is sometimes referred to as ``recursive downloading.'' While doing that, Wget respects the Robot Exclusion Standard (/robots.txt). Wget can be instructed to convert the links in downloaded HTML files to the local files for offline viewing. ============> Dann brauchst du die eigentlich nur noch die Datei slashdot.org/robots.txt, die du nach dem Aufruf von wget -r auf deiner Platte findest, anzuschauen und du weißt bescheid. Die wollen offenbar nicht, dass man die Seite komplett zieht :-( mfg Axel