wget Problem

older
scsi-Emulation im laufenden Berieb...

Andreas Kyek

28 Oct 2003 28 Oct '03

12:26

Hi, mein wget will nicht mehr (richtig) Version ist GNU wget 1.8.2 von SuSE 9.0. Meine /etc/wgetrc enthält: --- cut here --- passive_ftp = on waitretry = 10 timestamping = on http_proxy = http://localhost:3128/ ftp_proxy = http://localhost:3128/ dot_style = mega --- cut here --- mein command ist z.B.: wget --no-parent --recursive --no-host-directories \ --cut-dirs=6 --accept rpm --reject lnk,info \ --exclude-directories *lnk \ ftp://ftp.gwdg.de/pub/suse/i386/supplementary/KDE/update_for_9.0/ Problem: das Teil holt die index.html und das wars. Nix weiter; keine Unterverzeichnisse; gar nix. Wieso? Die gleiche Konfig hat unter 7.3 mit wget 1.7.x noch funktioniert. Andreas

Show replies by date

Stefan Heinrichsen

28 Oct 28 Oct

12:57

Am Die 28.10.03 um 13:26 CET schrieb Andreas Kyek :

...

Hi,

[...] mein command ist z.B.:

wget --no-parent --recursive --no-host-directories \ --cut-dirs=6 --accept rpm --reject lnk,info \ --exclude-directories *lnk \ ftp://ftp.gwdg.de/pub/suse/i386/supplementary/KDE/update_for_9.0/

so funktionierts bei mir: wget --no-parent --recursive --no-host-directories --cut-dirs=6 --accept=rpm --reject=lnk,info --exclude-directories=\*lnk ftp://ftp.gwdg.de/pub/suse/i386/supplementary/KDE/update_for_9.0/ mfg stefan

...

Problem: das Teil holt die index.html und das wars. Nix weiter; keine Unterverzeichnisse; gar nix.

Wieso? Die gleiche Konfig hat unter 7.3 mit wget 1.7.x noch funktioniert.

Andreas

Andreas Kyek

29 Oct 29 Oct

06:24

On Tuesday 28 October 2003 13:57, Stefan Heinrichsen wrote:

...

Am Die 28.10.03 um 13:26 CET schrieb Andreas Kyek :

...
Hi,

[...] mein command ist z.B.:

wget --no-parent --recursive --no-host-directories \ --cut-dirs=6 --accept rpm --reject lnk,info \ --exclude-directories *lnk \ ftp://ftp.gwdg.de/pub/suse/i386/supplementary/KDE/update_for_9.0/

so funktionierts bei mir:

wget --no-parent --recursive --no-host-directories --cut-dirs=6 --accept=rpm --reject=lnk,info --exclude-directories=\*lnk ftp://ftp.gwdg.de/pub/suse/i386/supplementary/KDE/update_for_9.0/

Ne, tut nicht. Ich habe mal nach und nach die Option no-parent, no-host-dirs, cut-dirs, accept, reject und exlude weggelassen: er holt sich immer nur die index.html Ändere ich die Quelle in ftp://.../update_for_9.0/base/ legt er mir das Verzeichnis base an und packt da die index.html rein. Und keine weitere Datei! Welche SuSE Version setzt Du ein? Welche wget Version? Andreas

Horst Mueller

08:55

Hallo, Andreas Kyek wrote:

...

On Tuesday 28 October 2003 13:57, Stefan Heinrichsen wrote:

...
Am Die 28.10.03 um 13:26 CET schrieb Andreas Kyek

:

...
...
[...]

...

...
so funktionierts bei mir:

wget --no-parent --recursive --no-host-directories --cut-dirs=6 --accept=rpm --reject=lnk,info --exclude-directories=\*lnk ftp://ftp.gwdg.de/pub/suse/i386/supplementary/KDE/update_for_9.0/

Ne, tut nicht.

Hmm, Stefans Befehl tuts hier auf Anhieb. Vielleicht solltest Du Deine wgetrc noch einmal überprüfen... [....]

...

Welche SuSE Version setzt Du ein? Welche wget Version?

SuSE 9.0 mit GNU Wget 1.8.2 Gruss horst

Andreas Kyek

10:52

On Wednesday 29 October 2003 09:55, Horst Mueller wrote:

...

Hallo,

Andreas Kyek wrote:

...
On Tuesday 28 October 2003 13:57, Stefan Heinrichsen wrote:

...
Am Die 28.10.03 um 13:26 CET schrieb Andreas Kyek

:

...
...
[...]

so funktionierts bei mir:

wget --no-parent --recursive --no-host-directories --cut-dirs=6 --accept=rpm --reject=lnk,info --exclude-directories=\*lnk ftp://ftp.gwdg.de/pub/suse/i386/supplementary/KDE/update_for_9.0/

Ne, tut nicht.

Hmm, Stefans Befehl tuts hier auf Anhieb.

Vielleicht solltest Du Deine wgetrc noch einmal überprüfen...

grep -v ^# /etc/wgetrc|grep -v ^$ ergibt: reclevel=5 passive_ftp = on waitretry = 10 timestamping = on http_proxy = http://localhost:3128/ ftp_proxy = http://localhost:3128/ dot_style = mega recursive = on Den Proxy Eintrag brauche ich zwingend, da ich a) ohne Proxy nicht raus komme und b) mein lokaler squid sich am Firmenproxy automatisch anmeldet. Was kann daran noch falsch sein? Andreas

Andreas Kyek

30 Oct 30 Oct

09:27

New subject: wget Problem mit SuSE 9.0 - ES GEHT DOCH NICHT!!

On Wednesday 29 October 2003 11:52, Andreas Kyek wrote:

...

On Wednesday 29 October 2003 09:55, Horst Mueller wrote:

...
Hallo,

Andreas Kyek wrote:

...
On Tuesday 28 October 2003 13:57, Stefan Heinrichsen wrote:

...
Am Die 28.10.03 um 13:26 CET schrieb Andreas Kyek

:

...
...
[...]

so funktionierts bei mir:

wget --no-parent --recursive --no-host-directories --cut-dirs=6 --accept=rpm --reject=lnk,info --exclude-directories=\*lnk ftp://ftp.gwdg.de/pub/suse/i386/supplementary/KDE/update_for_9 .0/

Ne, tut nicht.

Hmm, Stefans Befehl tuts hier auf Anhieb.

Vielleicht solltest Du Deine wgetrc noch einmal überprüfen...

grep -v ^# /etc/wgetrc|grep -v ^$ ergibt:

reclevel=5 passive_ftp = on waitretry = 10 timestamping = on http_proxy = http://localhost:3128/ ftp_proxy = http://localhost:3128/ dot_style = mega recursive = on

Den Proxy Eintrag brauche ich zwingend, da ich a) ohne Proxy nicht raus komme und b) mein lokaler squid sich am Firmenproxy automatisch anmeldet.

Was kann daran noch falsch sein?

Andreas

OK, hier das Ergebnis von 1 Tag harter Tests: a) wget 1.8.2 aus SuSE 9.0 geht nicht b) wget 1.9 (aus tgz kompiliert geht nicht) c) backported wget 1.7 aus SuSE 7.3 srpm GEHT Die wgetrc sowie das Kommando (s.o.) war in allen drei Fällen identisch. Ich schicke diese Mail mal als Kopie an feedback@suse.de. Vielleicht können die was machen. Meine Vermutung: bei allen, bei denen es geht, ist in der /etc/wgetrc kein Proxy eingetragen, da ihr mit Eurem Rechner wohl direkt am Netz hängt. Ich dagegen komme mit meinem Rechner nicht direkt raus und muss einen Proxy angeben. Dies ist nicht der Firmenproxy, sondern mein lokaler, da ich mich für den Zugriff aufs Netz auch noch am Firmenproxy anmelden muss und mein squid das für mich macht. Irgendetwas in der Kommunikation mit den Proxies ist zwischen der 1.7er Version aus SuSE 7.3 und den Versionen danach anders. (Ich habe die Versionen aus SuSE 8.x nicht auch noch probiert) Gibt es hier jemanden, der mal oben angebenes Kommando _mit_ einem lokalen Proxy (squid) in der wgetrc ausprobieren kann (natürlich mit 'ner 9.0) Andreas PS: Für SuSE: Falls ihr irgendwelche Inputs braucht, einfach melden

Horst Mueller

10:56

New subject: wget Problem mit SuSE 9.0 - ES GEHT DOCH NICHT!!

Hallo, Andreas Kyek wrote:

...

On Wednesday 29 October 2003 11:52, Andreas Kyek wrote:

...

OK, hier das Ergebnis von 1 Tag harter Tests:

a) wget 1.8.2 aus SuSE 9.0 geht nicht b) wget 1.9 (aus tgz kompiliert geht nicht) c) backported wget 1.7 aus SuSE 7.3 srpm GEHT

Die wgetrc sowie das Kommando (s.o.) war in allen drei Fällen identisch. Ich schicke diese Mail mal als Kopie an feedback@suse.de. Vielleicht können die was machen.

Meine Vermutung: bei allen, bei denen es geht, ist in der /etc/wgetrc kein Proxy eingetragen, da ihr mit Eurem Rechner wohl direkt am Netz hängt.

...

Gibt es hier jemanden, der mal oben angebenes Kommando _mit_ einem lokalen Proxy (squid) in der wgetrc ausprobieren kann (natürlich mit 'ner 9.0)

Deine Vermutung ist richtig: Mit lokalem Squid erhalte ich ebenfalls nur die index.html. Hat aber wohl weniger mit SuSE 7.3 bzw. 9.0 zu tun, sondern mit wget 1.8.x: http://www.mail-archive.com/wget@sunsite.dk/msg04881.html Viele Fragen, leider keine Antworten (die ich gefunden hätte...) Gruss horst

Daniel Lord

11:44

New subject: wget Problem mit SuSE 9.0 - ES GEHT DOCH NICHT!!

Hallo, On Thu, Oct 30, 2003 at 11:56:00AM +0100, Horst Mueller wrote:

...

Andreas Kyek wrote:

...
On Wednesday 29 October 2003 11:52, Andreas Kyek wrote:

...

...
a) wget 1.8.2 aus SuSE 9.0 geht nicht a¹) wget 1.8.1 aus SuSE 8.0 geht nicht b) wget 1.9 (aus tgz kompiliert geht nicht) c) backported wget 1.7 aus SuSE 7.3 srpm GEHT

Gibt es hier jemanden, der mal oben angebenes Kommando _mit_ einem lokalen Proxy (squid) in der wgetrc ausprobieren kann (natürlich mit 'ner 9.0)

ich habe das Kommando mit Proxy ausprobiert und es funktioniert nicht. SuSE 8.0, wget 1.8.1. Was aber funktioniert ist folgendes: wget -c --no-parent --recursive --no-host-directories \ --cut-dirs=6 --accept rpm --exclude-directories *lnk \ http://ftp.gwdg.de/pub/suse/i386/supplementary/KDE/update_for_9.0/ hilft Dir vielleicht kurzfristig weiter.

...

Deine Vermutung ist richtig: Mit lokalem Squid erhalte ich ebenfalls nur die index.html.

ging mir über ftp gerade auch so. Hatte nur noch keine Zeit zu prüfen ob das jetzt am squid oder an wget liegt.

...

Hat aber wohl weniger mit SuSE 7.3 bzw. 9.0 zu tun, sondern mit wget 1.8.x:

ACK Greetings Daniel -- Wir brauchen die Erde als Scheibe, da Sichtverbindung bestehen muß. (Nico Rogowski zu Richtfunkstrecken)

Ralf Schuchardt

22:41

New subject: wget Problem mit SuSE 9.0 - ES GEHT DOCH NICHT!!

Hallo! Am Donnerstag, 30. Oktober 2003 12:44 schrieb Daniel Lord:

...

On Thu, Oct 30, 2003 at 11:56:00AM +0100, Horst Mueller wrote:

...
Andreas Kyek wrote:

...
On Wednesday 29 October 2003 11:52, Andreas Kyek wrote:

[wget geht nicht mit proxy bei ftp-urls] Wer wget selbst kompilieren möchte, kann das Problem vielleicht beseitigen, indem folgender Patch angewendet wird (im wget-src-Verzeichnis: patch -p1 < patchfile aufrufen). Zumindest bei mir nutzt wget danach auch für ftp den Proxy richtig und kann die Dateien auch rekursiv holen. Man muss die Option --follow-ftp nutzen, sonst gehts nicht. Obs irgendwelche Nebeneffekte gibt, kann ich auch nicht sagen; Benutzung auf eigene Gefahr! Viele Grüße Ralf <<CUT>> --- wget-1.9/src/main.c 2003-10-11 15:57:11.000000000 +0200 +++ wget-1.9a/src/main.c 2003-10-30 23:05:47.000000000 +0100 @@ -879,7 +879,7 @@ char *filename = NULL, *redirected_URL = NULL; int dt; - if (opt.recursive && url_scheme (*t) != SCHEME_FTP) + if (opt.recursive && (url_scheme (*t) != SCHEME_FTP || opt.use_proxy)) status = retrieve_tree (*t); else status = retrieve_url (*t, &filename, &redirected_URL, NULL, &dt); <<CUT>>

Andreas Kyek

31 Oct 31 Oct

08:05

New subject: wget Problem mit SuSE 9.0 - ES GEHT DOCH NICHT!!

On Thursday 30 October 2003 23:41, Ralf Schuchardt wrote:

...

Hallo!

Am Donnerstag, 30. Oktober 2003 12:44 schrieb Daniel Lord:

...
On Thu, Oct 30, 2003 at 11:56:00AM +0100, Horst Mueller wrote:

...
Andreas Kyek wrote:

...
On Wednesday 29 October 2003 11:52, Andreas Kyek wrote:

[wget geht nicht mit proxy bei ftp-urls]

Wer wget selbst kompilieren möchte, kann das Problem vielleicht beseitigen, indem folgender Patch angewendet wird (im wget-src-Verzeichnis: patch -p1 < patchfile aufrufen). Zumindest bei mir nutzt wget danach auch für ftp den Proxy richtig und kann die Dateien auch rekursiv holen. Man muss die Option --follow-ftp nutzen, sonst gehts nicht. Obs irgendwelche Nebeneffekte gibt, kann ich auch nicht sagen; Benutzung auf eigene Gefahr!

Viele Grüße Ralf

<<CUT>> --- wget-1.9/src/main.c 2003-10-11 15:57:11.000000000 +0200 +++ wget-1.9a/src/main.c 2003-10-30 23:05:47.000000000 +0100 @@ -879,7 +879,7 @@ char *filename = NULL, *redirected_URL = NULL; int dt;

- if (opt.recursive && url_scheme (*t) != SCHEME_FTP) + if (opt.recursive && (url_scheme (*t) != SCHEME_FTP || opt.use_proxy)) status = retrieve_tree (*t); else status = retrieve_url (*t, &filename, &redirected_URL, NULL, &dt); <<CUT>>

Hi, Ja, den Patch (an anderer Stelle) ins src-rpm der 1.8.2 von SuSE 9.0 eingebracht und wget tuts auch hier wieder. Merci Andreas

Daniel Lord

29 Oct 29 Oct

10:41

Hallo Andreas, On Tue, Oct 28, 2003 at 01:26:29PM +0100, Andreas Kyek wrote:

...

wget --no-parent --recursive --no-host-directories \ --cut-dirs=6 --accept rpm --reject lnk,info \ -H \ --exclude-directories *lnk \ ftp://ftp.gwdg.de/pub/suse/i386/supplementary/KDE/update_for_9.0/

Problem: das Teil holt die index.html und das wars. Nix weiter; keine Unterverzeichnisse; gar nix.

Das hört sich eigentlich danach an, dass die index.htm physikalisch auf einem anderen Host liegt als die Files deshalb oben mal -H rein und ausprobieren. Hoffe geholfen zu haben Daniel -- Ich sage kein Wort mehr ohne meinen Psychiater. (Woody Allen)

7490

Age (days ago)

7493

Last active (days ago)

List overview

Download

10 comments

5 participants

participants (5)

Andreas Kyek
Daniel Lord
Horst Mueller
Ralf Schuchardt
Stefan Heinrichsen

wget Problem

Stefan Heinrichsen

Horst Mueller

Horst Mueller

tags

participants (5)