Am Sonntag, 2. November 2003 12:21 schrieb Maik Holtkamp:

goolge meint:

tr '\r' '\n' < macfile.txt > unixfile.txt

Mach eine Sicherung und probier es aus.

Hallo Maik, ich glaube die Zeilenumbrüche sind nicht mein Problem. Bei mysql kann man alles mögliche für den Import angeben, u.a. "\r\n". Ein neuer Datesatz ist in der Textdatei durch ||| gekennzeichnet. Importiert wurde also so: LOAD DATA INFILE '/publik/test.txt' REPLACE INTO TABLE `basis` FIELDS TERMINATED BY '\t' LINES TERMINATED BY '|||'; Query OK, 21499 rows affected (1.41 sec) Records: 21499 Deleted: 0 Skipped: 0 Warnings: 2379 Die Textdatei anders zu erstellen, ist zwar nicht unmöglich, läßt sich aber aus lokalen Gründen nicht so ohne weiteres realisieren. Ich würde gerne testen was passiert wenn diese "226" nicht mehr vorhanden sind. Irgendwie muß man dieses Zeichen doch ersetzen können. Al

Am Sonntag, 2. November 2003 13:46 schrieb Ralf Schuchardt:

...

Ich würde gerne testen was passiert wenn diese "226" nicht mehr vorhanden sind. Irgendwie muß man dieses Zeichen doch ersetzen können.

tr '\342' '\255' < macfile.txt > unixfile.txt

Ersetze Zeichen mit dem oktalen Code 342 (== 226d) durch das Zeichen 173d (== 255o).

tr kann auch Zeichen löschen, bzw. mehrere gleichzeitig ersetzen.

tr '\342' '\255' < test2.txt > unixfile.txt funktioniert nicht. Vermutlich weil das zu ersetzende Zeichen nicht das ist, das ich verändern möchte. Rufe ich die Originaldatei mit less auf, dann dauert es jedes Mal an die 15min. bis ich scrollen kann. Das ist natürlich lästig beim Testen. Mit vi kann man sich nach einigen Sekunden in der Datei bewegen und man sieht dann wie erwähnt in _blau_ die Anzeige ~U ~F ~R ~V ~S ~J ~K. Wie finde ich den ASCII-Wert des von vi angezeigten Zeichens raus bzw. wie kann ich diese Zeichen nach dem Schema ":%s/Suchen_nach/Ersetzen_durch/" durch nichts ersetzen? Al

Am Sonntag, 2. November 2003 16:25 schrieb Maik Holtkamp:

...

vi kann man sich nach einigen Sekunden in der Datei bewegen und man sieht dann wie erwähnt in _blau_ die Anzeige ~U ~F ~R ~V ~S ~J ~K.

Wie finde ich den ASCII-Wert des von vi angezeigten Zeichens raus bzw. wie kann ich diese Zeichen nach dem Schema ":%s/Suchen_nach/Ersetzen_durch/" durch nichts ersetzen?

Diese Tilden Dinger kenne ich nicht, aber solche Sonderzeichen gibst Du vim normalerweise durch ein vorangestelltes strg+v <Zeichen> wie hier:

Maik, nach "hier:" kann ich nichts mehr lesen. strg+v ergibt hier ^. ^M habe ich zwar auch im Text, aber diese Zeilenumbrüche innerhalb eines Feldes sollen bleiben. Machen wir es mal einfacher, wie könnte ich nach diesen Zeichen nur suchen? Suche ich nach ~V erhalte ich: "E33: Kein vorheriger regulärer Ersetzungs-Ausdruck", bzw mit ^V kommt: "Muster nicht gefunden: ^V" Al

...

...

...

Wie finde ich den ASCII-Wert des von vi angezeigten Zeichens raus bzw. wie kann ich diese Zeichen nach dem Schema ":%s/Suchen_nach/Ersetzen_durch/" durch nichts ersetzen?

Ich kenne mich nur mit dem vim aus. Daher betreffen die folgenden Tips nur vim. Was unter SuSE dasselbe wie vi ist. Um den ASCII Wert eines Buchtstabens / Zeichens herauszufinden: siehe ':help :ascii'.

...

...

Diese Tilden Dinger kenne ich nicht, aber solche Sonderzeichen gibst Du vim normalerweise durch ein vorangestelltes strg+v <Zeichen> wie hier:

Um es genau zu wissen, mal ':help isprint' eigeben. Da steht es genau: Non-printable characters are displayed with two characters: 0 - 31 "^@" - "^_" 32 - 126 always single characters 127 "^?" 128 - 159 "~@" - "~_" 160 - 254 "| " - "|~" 255 "~ Um einen Zeichen mittels seines ASCII Codes einzugeben siehe ':help i_CTRL-V_digit'. Beim suchen und ersetzen funktioniert das mit dem <CTRL-V> auch. Siehe ':help c_CTRL-V' oder ':help c_CTRL-Q'. Hoffe das hilft. Mike

Am Sonntag, 2. November 2003 22:52 schrieb Al Bogner:

Danke, das hilft sehr weiter. Wenn ich den Buchstaben markiere und dann

:help eingebe, kommt zB

<~V> 150, Hex 96, Oktal 226

Es muß natürlich nicht :help, sondern :ascii heißen. Sorry! Al

On Sun, 2 Nov 2003 16:04:10 +0100 Al Bogner wrote:

Am Sonntag, 2. November 2003 13:46 schrieb Ralf Schuchardt:

...

...

Ich würde gerne testen was passiert wenn diese "226" nicht mehr vorhanden sind. Irgendwie muß man dieses Zeichen doch ersetzen können.

tr '\342' '\255' < macfile.txt > unixfile.txt

tr '\342' '\255' < test2.txt > unixfile.txt funktioniert nicht. > Vermutlich weil das zu ersetzende Zeichen nicht das ist, das ich verändern möchte.

Wie finde ich den ASCII-Wert des von vi angezeigten Zeichens raus bzw. wie kann ich diese Zeichen nach dem Schema ":%s/Suchen_nach/Ersetzen_durch/" durch nichts ersetzen?

Mit "hex" kannst du dir die Datei im Hexadezimalformat mit zusätzlicher ASCII-Anzeige anschauen. Dann nur noch die ungültigen Zeichen finden und nach Oktal umwandeln. Mittels tr -d '\255\344\254' < mac.file > neu.file werden dann die Zeichen \255, \344 und \254 gelöscht. Und dann versuch mal "more" zum Anzeigen der Datei, könnte schneller sein. Viele Grüße Ralf

Hallo, Am Sun, 02 Nov 2003, Al Bogner schrieb:

Am Sonntag, 2. November 2003 17:31 schrieb Ralf Schuchardt:

...

Mit "hex" kannst du dir die Datei im Hexadezimalformat mit zusätzlicher ASCII-Anzeige anschauen. Dann nur noch die ungültigen Zeichen finden und nach Oktal umwandeln.

Auch nicht ganz leicht, da man mit hex die Sonderzeichen nicht gut sieht. Mit welchem Programm kann man hex in oktal umwandeln?

z.B. mit bc ibase=16; obase=8. Einfacher ist, wenn du nicht 'hex' verwendest, sondern dir das gleich oktal anzeigen laesst: od -c < macfile.txt od -o < macfile.txt

Ich möchte mal mit tr versuchen hex 96 nach hex 20 umzuwandeln, um zu sehen, ob ich mit tr überhaupt weiter komme.

tr '\226' ' ' -dnh -- I read [.doc files] with 'rm.' All you lose is the Microsoft-specific font selections, the macro viruses and the luser babblings. --Gary `Wolf' Barnes