Joerg Thuemmler, Montag 27 Juni 2011:

Könnte es von Windows stammen? (utf-16)?

Könnte sein. Allerdings steigt convmv dann aus: # convmv -f utf16 -t utf8 --nosmart... UTF-16:Unrecognised BOM 3833 at /usr/lib/perl5/5.12.1/i586-linux-thread-multi/Encode.pm line 194.

Ansonsten würde ich mir wohl ein Skript bauen, welches alle "Sonderzeichen" durch was Sinnvolles ersetzt (tr, sed) und das Zeug umbenennt...

Gern. Aber wie kriege ich die kaputten Zeichen zu fassen? Welcher regex paßt auf was kaputtes? -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org

Servus Jörg, Joerg Thuemmler, Montag 27 Juni 2011:

da hilft wohl nur raten. Welcher Erwartungsbereich ist es denn (deutsche Sonderzeichen, z.B.)?

stimmt, das hätte ich mal erwähnen können. Es kommen eigentlich nur deutsche Umlaute in Frage.

Aus Deiner ersten Mail hätte ich mal angenommen, dass Du in

/Pfad/SanitaÌrluÌfter.pdf

alle Kombinationen "[AOUaou]Ì" durch die korrespondierenden dt. Umlaute ersetzen musst. (Kann sein, dass Deine Umlaute jetzt hier verhackt werden, weil mein System 8859-15 ist.)

Im Prinzip ist das wohl so. Allerdings wird je nach Terminal noch ein ? angezeigt, also SanitaÌ?r... Daher gehe ich davon aus, daß hinter dem Ì noch ein anderes Zeichen ist, welches ich natürlich auch entfernen möchte. Hier wäre noch ein hexdump (welchen ich leider nicht selbst interpretieren kann…) ls Anlage_4_3_SanitaÌrluÌfter.pdf | hexdump 0000000 6e41 616c 6567 345f 335f 535f 6e61 7469 0000010 c361 c28c 7288 756c 8cc3 88c2 7466 7265 0000020 702e 6664 000a 0000025

Allerdings würde ich Deiner ersten Fehlermeldung ("already utf-8") fast recht geben, zumindest sieht es bei mir auch wie utf-8 aus. Kann es sein, dass die Shell, in der Du das machst, kein utf-8 oder kein korrektes anzeigt?

Keine Ahnung - woran sehe ich es denn? Ich nehme manchmal urxvt, manchmal die konsole von KDE. -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org

Hallo, Am Tue, 28 Jun 2011, hamann.w@t-online.de schrieb:

Andre Tann schrieb:

...

...

Hier wäre noch ein hexdump (welchen ich leider nicht selbst interpretieren kann...)

ls Anlage_4_3_SanitaÌrluÌfter.pdf | hexdump

0000000 6e41 616c 6567 345f 335f 535f 6e61 7469 0000010 c361 c28c 7288 756c 8cc3 88c2 7466 7265 0000020 702e 6664 000a 0000025

wenn man das per iconv von utf9 nach iso-8859-1 wandelt, ergibt sich (der Übersicht halber mit gexdump -bc angezeigt)

0000000 101 156 154 141 147 145 137 064 137 063 137 123 141 156 151 164 0000000 A n l a g e _ 4 _ 3 _ S a n i t 0000010 141 314 210 162 154 165 314 210 146 164 145 162 056 160 144 146 0000010 a Ì 210 r l u Ì 210 f t e r . p d f 0000020 012 000 0000020 \n \0 0000022

d.h. da gibt es für das ä und ü jeweils ein a oder u, gefolgt von der magischen Zeichenkombination 314 210 Diese scheint also Dieresis (Umlautpunkte) darzustellen .... aber in welchem Zeichensatz? Sicherlich nicht unicode, sicherlich keine utf 8 Sequenz

Doch, das ist korrektes UTF-8. echo -e '\0314\0210' | recode utf8..UTF-16BE | od -tx1 000000 03 08 00 0a Und dann gucken wir mal in http://www.unicode.org/charts/PDF/U0300.pdf nach was \u0308 ist. Tada: "Combining diaeresis". Und das darf auch nach dem jew. Buchstaben stehen. Was aber offenbar iconv z.B. nicht kennt. Zum umkodieren fällt mir jetzt nur perl ein. ==== #!/usr/bin/perl -w use strict; use utf8; my %c = ( a => 'ä', e => 'ë', i => 'ï', o => 'ö', u => 'ü' ); binmode(STDIN, ':utf8'); binmode(STDOUT, ':utf8'); while(<>) { if(/\N{U+0308}/) { s/([aeiou])\N{U+0308}/$c{$1}/eg; } print; } ==== Ausgabe ist normales UTF-8. $ echo -e 'Anlage_4_3_Sanita\0314\0210rlu\0314\0210fter.pdf' | \ perl ~/helping/combining_diaeresis.pl | recode UTF-8..latin9 Anlage_4_3_Sanitärlüfter.pdf Da ich hier latin9 verwende noch das recode hintendran, was auch gleich zeigt, daß es UTF-8 ist, das recode versteht. HTH, -dnh -- "Now, what was I doing before I so rudely interrupted myself?" -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org

Hallo, Am Mon, 11 Jul 2011, Christian Brabandt schrieb: [..]

Laß mich raten, die Datei wurde unter Apple erstellt?

Könnte sein ;)

Die kodieren, soweit ich weiß, utf8 als utf8 decomposed, während unter Linux/Unix wohl composed utf8 verwendet wird. Gibt halt beide Möglichkeiten laut Standard, aber ich bin mir sicher, dass es in Zukunft noch mehr Probleme damit geben wird.

ACK. "The wonderful thing about standards is that there are so many of them to choose from." -- Grace Murray Hopper (und im Vergleich zu heute gab's damals noch eher wenige Standards.) Ah, und natürlich: wie man den jew. Standard dann interpretiert ... -dnh -- Did I do something wrong today, or has the world always been like this and I've just been too wrapped up in myself to notice? -- Arthur Dent -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org

Hi Andre! On Mo, 11 Jul 2011, Andre Tann wrote:

Christian Brabandt, Montag, 11. Juli 2011:

...

...

Und dann gucken wir mal in http://www.unicode.org/charts/PDF/U0300.pdf nach was \u0308 ist. Tada: "Combining diaeresis". Und das darf auch nach dem jew. Buchstaben stehen. Was aber offenbar iconv z.B. nicht kennt.

Laß mich raten, die Datei wurde unter Apple erstellt?

Keine Ahnung, ich würde eher sagen, daß es was unixoides war, aber ich bin nicht sicher. Kommt von einem web-ftp-artigen Dienst.

Wer ist denn "Urheber" des Dateinamens: derjenige, der die Datei über ein Webformular hochlädt, oder das entgegennehmende System? Denn sicher ist auf jeden Fall, daß die Datei mal über ein Webinterface hereingekommen ist. Irgendwann später wurde der Baum dann gezippt, und ist dann bei mir gelandet.

Dann war der Sender wahrscheinlich ein Apple. Der hat dann als Name die normalised decomposed Form genutzt.

...

Die kodieren, soweit ich weiß, utf8 als utf8 decomposed, während unter Linux/Unix wohl composed utf8 verwendet wird. Gibt halt beide Möglichkeiten laut Standard, aber ich bin mir sicher, dass es in Zukunft noch mehr Probleme damit geben wird.

Hey mann, das ist ein unsägliches Thema, und vor allem eines: ein Haufen verlorener Zeit…

convmv kann das aber erfolgreich kodieren: #v+ chrisbra@R500 /tmp/b % touch ä chrisbra@R500 /tmp/b % ls -1 |hexdump -bc 0000000 303 244 012 0000000 � � \n 0000003 chrisbra@R500 /tmp/b % convmv --notest --nfd -t utf-8 -f utf-8 * Your Perl version has fleas #37757 #49830 mv "./ä" "./ä" Ready! chrisbra@R500 /tmp/b % ls |hexdump -bc 0000000 141 314 210 012 0000000 a � 210 \n 0000004 chrisbra@R500 /tmp/b % #v- Benutze --nfc für die normalized composed form (aka, so wie es normalerweise unter Linux gemacht wird) bzw. --nfd für die normalized decomposed form, also das was der Mac so macht. In der Manpage steht dazu auch noch was, such einfach mal nach nfc Und auf dem Mac scheint iconv das auch konvertieren zu können, wie dieser Link nahelegt: http://loopkid.net/articles/2011/03/19/groking-hfs-character-encoding Aber zumindest hier, unterstützt iconv kein utf-8-mac als encoding (iconv -l listet es auch nicht auf, ich vermute das gibt es nicht in der glibc, sondern nur bei den Macs/BSD?) Mit freundlichen Grüßen Christian -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org

Dietmar Kühn, Montag 27 Juni 2011:

schonmal mit utrac -p probiert?

# utrac -p AusfuÌhrung.PDF utrac: Binary data (error 310) Mache ich hingegen: # ls Ausf* | utrac -p UTF-8 Also scheint utrac zu meinen, daß es sich bei den Dateinamen, zu dem die Shell Ausf* expandiert, um ein utf8-codiertes Stück handelt. Das stimmt mit dem überein, was auch convmv sagt. Wie komme ich damit weiter? -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org

Moin Sandy, Sandy Drobic, Montag 27 Juni 2011:

Du scheinst als root auf der Kommandozeile zu arbeiten. Ich vermute, dass für root nicht UTF-8 als Zeichensatz eingestellt ist.

Nein, ich arbeite als normaler User, Umgebung ist eine 11.3.

Schau mal, was unter Details von Spracheinstellungen steht. Vielleicht ist das das Problem.

# whoami atann # echo $LANG de_DE.UTF-8 # su # whoami root alphasrv:~ # echo $LANG de_DE.UTF-8 Ist also immer das gleiche eingestellt. Letztlich ist aber das Problem nicht das Terminal. Der fragliche Verzeichnisbaum wird von vsftp exportiert. Und die ftp-Clients wie Konqueror, WinSCP usw. stellen die Umlaute nicht richtig dar. Konqueror kann die Dateien wenigstens umbenennen, WinSCP kann nicht mal das. Bei diesen Clients muß die Darstellung passen. Was ich auf der Konsole sehe ist mir letztlich egal. -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org

Am 27.06.2011 16:08, schrieb Andre Tann:

Dietmar Kühn, Montag 27 Juni 2011:

...

schonmal mit utrac -p probiert? # utrac -p AusfuÌhrung.PDF utrac: Binary data (error 310)

Mache ich hingegen:

# ls Ausf* | utrac -p UTF-8

Also scheint utrac zu meinen, daß es sich bei den Dateinamen, zu dem die Shell Ausf* expandiert, um ein utf8-codiertes Stück handelt. Das stimmt mit dem überein, was auch convmv sagt. Wie komme ich damit weiter?

Hallo Andre, ich hatte vor kurzem ein ähnliches Problem, deshalb mein Hinweis auf utrac. Wichtig war bei mir, "unzip" mit Option "-S" aufzurufen, da unzip sonst selbst versucht, dateinamen umzubenennen, mt teilweise unbrauchbarem Ergebnis. Anschließend dann mit "utrac -P" testen, und mit "convmv -r -f ... " umbenennen. So hats bei mir funktioniert. Gruß Dietmar -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org

Am 28.06.2011 09:59, schrieb Andre Tann: ...

Nicht zu glauben, was das mit den Umlauten für Ärger hervorruft - nicht nur hier, sondern generell.

Oh ja. Ich wollte eine CD mit einer Werknormensammlung unter linux "benutzbar" machen, und bin ebenfalls gescheitert: die dateinamen konnte ich konvertieren (siehe oben), doch diese werden dann aus etlichen HTML-dateien referenziert, die aber eine andere codepage benutzen. Nun ging nichts mehr, und ich habe die Sache erstmal beiseite gelegt.

Viele Grüße!

-- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org