Hi Leuts, ich suche nach einem Tool, daß eine Art Web-Spider realisiert. Ausgehend von einer Startseite (besser noch eine Liste von Startseiten) soll es überall rumcrawlen, die Seiten aufrufen (evtl. speichern) und (möglichst) nach Begriffen scannen. Im Prinzip wie wget aber mehr selbständig unterwegs. Gibts sowas? (Konnte diese Suchanfrage nicht bei freshmeat unterbringen ;_) Bin für jeden Tip dankbar! Gruss ________________________________________ Zeitschriftenabos online bestellen - jetzt neu im Infoboten! http://www.epost.de
On Fri, 2002-05-31 at 17:32, jens.haase4@epost.de wrote:
ich suche nach einem Tool, daß eine Art Web-Spider realisiert. Ausgehend von einer Startseite (besser noch eine Liste von Startseiten) soll es überall rumcrawlen, die Seiten aufrufen (evtl. speichern) und (möglichst) nach Begriffen scannen.
So etwas kann man mit Hilfe von perl mit den LWP Modulen relativ einfach realisieren. Hatte ich vor einigen Jahren mal in einem Projekt gebaut. Je nachdem, wie komplex Dein scannen nach Begiffen sein soll, kann das Ganze natürlich beliebig komplex werden. Such doch mal nach perl LWP RobotUA bei google. Da müßte eigentlich was für Dich dabei sein. V. -- Volker Kroll 4mino AG Chief System Developer Chausseestr. 52 b volker.kroll@4mino.de D-10115 Berlin Tel.: +49-30-2888490-0 Fax.: +49-30-2888490-99
On Friday 31 May 2002 17:32, jens.haase4@epost.de wrote:
Im Prinzip wie wget aber mehr selbständig unterwegs.
Gibts sowas? (Konnte diese Suchanfrage nicht bei freshmeat unterbringen ;_)
htdig? Heiner -- heiner at kflog dot org GnuPG - Key: E05AEAFC Fingerprint: 257A DFBF 4977 4585 77A0 3509 973B 92AA E05A EAFC
participants (3)
-
Heiner Lamprecht -
jens.haase4＠epost.de -
Volker Kroll