Modifikation von sehr grossen Text-Dateien ??
Hallo Zusammen, wie kann ich den Inhalt mehrerer sehr grosser (je ca. 5GB!) Text-Dateien einfach und schnell modifizieren ? Genauer gesagt, muss nur der Head (die ersten 25 Zeilen) aus jeder Datei gelöscht werden. Bitte von jegliche "cat/grep" Abwandlungen absehen. Das dauert viel zu lange! Besten Dank und Gruss, Markus -- Markus Binder GLOBALWAYS Internetservice Peter-Cornelius Str. 18/1 D-72766 Reutlingen Germany Mobile: +49 (0) 172 608 3009 Tel: +49 (0) 7121 3811 - 910 Fax: +49 (0) 7121 3811 - 912 Mailto:markus.binder@globalways.net ... visit http://www.globalways.net
Am Die, 2003-09-16 um 12.53 schrieb Markus Binder:
Hallo Zusammen,
wie kann ich den Inhalt mehrerer sehr grosser (je ca. 5GB!) Text-Dateien einfach und schnell modifizieren ? Genauer gesagt, muss nur der Head (die ersten 25 Zeilen) aus jeder Datei gelöscht werden.
Bitte von jegliche "cat/grep" Abwandlungen absehen. Das dauert viel zu lange!
Besten Dank und Gruss,
Markus
Hallo Markus, auf der shell-Ebene bleibt da nicht mehr viel. Mit wc -l Anzahl der Zeilen feststellen, 25 abziehen und tail -$ergebnis datei >modDatei alternativ: ein kurzes C-Programm. Sollte mit <10 Zeilen zu erschlagen sein. Gruß, Wolfgang
Hi, Am Die, 2003-09-16 um 12.53 schrieb Markus Binder:
wie kann ich den Inhalt mehrerer sehr grosser (je ca. 5GB!) Text-Dateien einfach und schnell modifizieren ? Genauer gesagt, muss nur der Head (die ersten 25 Zeilen) aus jeder Datei gelöscht werden.
Mit sed und/oder awk beispielsweise. Bin gerade am Lernen dieser beiden Tools und bin von deren Möglichkeiten begeistert!
Bitte von jegliche "cat/grep" Abwandlungen absehen. Das dauert viel zu lange!
Weiss nicht genau, was Du mit Abwandlung meinst. grep und sed/awk sind aber schon eher mit grep "verwandt". -- Grüsse Marco
Hallo, Am Tue, 16 Sep 2003, Markus Binder schrieb:
wie kann ich den Inhalt mehrerer sehr grosser (je ca. 5GB!) Text-Dateien einfach und schnell modifizieren ? Genauer gesagt, muss nur der Head (die ersten 25 Zeilen) aus jeder Datei gelöscht werden.
Bitte von jegliche "cat/grep" Abwandlungen absehen. Das dauert viel zu lange!
echo -e '1,25d\nw' | ed DATEI man ed! -dnh -- I don't see anything wrong with being arrogant and not at all helpful. -- Paul Tomblin
* David Haller schrieb am 16.Sep.2003:
Am Tue, 16 Sep 2003, Markus Binder schrieb:
wie kann ich den Inhalt mehrerer sehr grosser (je ca. 5GB!) Text-Dateien einfach und schnell modifizieren ? Genauer gesagt, muss nur der Head (die ersten 25 Zeilen) aus jeder Datei gelöscht werden.
Bitte von jegliche "cat/grep" Abwandlungen absehen. Das dauert viel zu lange!
echo -e '1,25d\nw' | ed DATEI
man ed!
Und das soll schneller sein als cat DATEI? Bernd
Hallo, Am Wed, 17 Sep 2003, Bernd Brodesser schrieb:
* David Haller schrieb am 16.Sep.2003:
Am Tue, 16 Sep 2003, Markus Binder schrieb:
wie kann ich den Inhalt mehrerer sehr grosser (je ca. 5GB!) Text-Dateien einfach und schnell modifizieren ? Genauer gesagt, muss nur der Head (die ersten 25 Zeilen) aus jeder Datei gelöscht werden.
Bitte von jegliche "cat/grep" Abwandlungen absehen. Das dauert viel zu lange!
echo -e '1,25d\nw' | ed DATEI
man ed!
Und das soll schneller sein als cat DATEI?
Davon hab ich nix geschrieben. Aber faellt dir was anderes ein? Ginge das auch !interaktiv mit vi? Das waere die andere Moeglichkeit die mir einfiele... -dnh -- 21: HTML-Programmierer Grafiker (Kristian Köhntopp)
* David Haller schrieb am 17.Sep.2003:
Hallo,
Am Wed, 17 Sep 2003, Bernd Brodesser schrieb:
* David Haller schrieb am 16.Sep.2003:
Am Tue, 16 Sep 2003, Markus Binder schrieb:
wie kann ich den Inhalt mehrerer sehr grosser (je ca. 5GB!) Text-Dateien einfach und schnell modifizieren ? Genauer gesagt, muss nur der Head (die ersten 25 Zeilen) aus jeder Datei gelöscht werden.
Bitte von jegliche "cat/grep" Abwandlungen absehen. Das dauert viel zu lange!
echo -e '1,25d\nw' | ed DATEI
man ed!
Und das soll schneller sein als cat DATEI?
Davon hab ich nix geschrieben. Aber faellt dir was anderes ein?
sed dauert bestimmt auch nicht länger. Man kann es drehen und wenden wie man will. Wenn man am Anfang was weghaben will, so muß die ganze Datei kopiert werden. Einzig wenn eine ganze Blöcke entfernt werden sollen, dann ließe sich was mit I-Node-Manipulation machen. Lohnt aber erst bei sehr vielen sehr großen Dateien, da sehr viel Aufwand. Und wie gesagt, es gehen nur ganze Blöcke
Ginge das auch !interaktiv mit vi? Das waere die andere Moeglichkeit die mir einfiele...
Nun ja. Bernd -- Was ist quoten? Quoten ist das Zitieren aus einer mail, der man antwortet. Und wie macht man es richtig? Zitate werden mit "> " gekennzeichnet. Nicht mehr als nötig zitieren. Vor den Abschnitten das Zitat, auf das man sich bezieht, mit einer Zeile Abstand oben und unten. |Zufallssignatur 12
Hallo auch, Am Dienstag, 16. September 2003 12:53 schrieb Markus Binder:
Hallo Zusammen, wie kann ich den Inhalt mehrerer sehr grosser (je ca. 5GB!) Text-Dateien einfach und schnell modifizieren ? Genauer gesagt, muss nur der Head (die ersten 25 Zeilen) aus jeder Datei gelöscht werden. Bitte von jegliche "cat/grep" Abwandlungen absehen. Das dauert viel zu lange!
Das ist natürlich sehr gross, da kannst du dich wohl in jedem Fall auf lange Bearbeitungszeiten gefasst machen, gängige Texteditoren können solche Dateien wahrscheinlich noch nicht mal öffnen. Ist jetzt nur so ein dummer Gedanke, aber hast du mal versucht, die Datei in mysql einzulesen. Jede Zeile=1 Datensatz. Erste 25 Datensätze löschen, Rest als neue Datei auslesen. Könnte man sicher auch leicht automatisieren. Bin kein SQL-Experte, aber man hört doch immer, das die so verdammt schnell sein soll, vielleicht ists nen Versuch wert? Bernd -- One OS to rule them all, one OS to find them. One OS to bring them all, and in the darkness bind them In the land of Redmond, where the shadows lie.
participants (6)
-
B.Brodesser＠t-online.de -
Bernd Tannenbaum -
David Haller -
Marco Schuler -
Markus Binder -
Wolfgang Hinsch