Nicht-konforme Zeichen in der Aufnahme-XML

[Mucki]

Ich habe den Code für den Freesat-EPG auch etwas umgestellt. Es wäre gut, wenn jemand ausprobieren könnte, ob das noch funktioniert.

Sieht gut aus. Freesat-EPG funktioniert noch, in der Aufnahme-XLM kommen Control-codes im 'epgtitle' ncht mehr vor und die Charactertable-codes in der Audiobeschreibung bei arte oder 3sat sind auch verschwunden.

Einzig bei Sendern aus dem Nahen Osten habe ich nach wie vor ein Sonderzeichen in der Audiobeschreibung in der XML (0x83, 0x9F...).

[Gaucho316]

Hast du beide Patches getestet, also auch den für encoding.cpp?

[Mucki]

Ja, encoding.cpp habe ich auch gepatcht. Kann es sein, dass die Audiodescription nicht immer da durch läuft?

[GetAway]

Einzig bei Sendern aus dem Nahen Osten habe ich nach wie vor ein Sonderzeichen in der Audiobeschreibung in der XML (0x83, 0x9F...).

Die sollten aber nicht durchkommen.

[Gaucho316]

Mucki (oder auch jemand anders mit Sat), log dich mal bitte per telnet auf der d-box ein, schalte auf einen der Sender aus dem Nahen Osten und poste die Ausgaben von:

Code: Alles auswählen

dvbsnoop -n 1 -nph 0x062

und

Code: Alles auswählen

dvbsnoop -n 1 -nph 0x12

[seife]

IMHO ist der einzig korrekte weg, das mittels CDVBString zu konvertieren. Raus kommt allerdings utf-8. => der korrekteste Weg wäre dann wiederum, Neutrino komplett nach UTF-8 zu konvertieren, der wegen Namensrechten ungenannte fork macht das ja auch so Dort tritt das Problem auch nicht auf. Alternativ halt nach Latin1 zurückkonvertieren oder CDVBString so anpassen, dass es auch Latin1 rausrückt.

Alles andere ist - gelinde ausgedrückt - kurzsichtig und nicht wirklich sauber.

Code: Alles auswählen

...
<neutrino commandversion="1">
        <record command="record">
                <channelname>arte</channelname>
                <epgtitle>ARTE Journal</epgtitle>
                <id>12150716308656320564</id>
                <info1>Das europäische Nachrichtenmagazin</info1>
...
                <audiopids>
                        <audio pid="402" audiotype="0" selected="1" name="deutsch"/>
                        <audio pid="403" audiotype="0" selected="0" name="französisch"/>
                </audiopids>
...

[Gaucho316]

IMHO ist der einzig korrekte weg, das mittels CDVBString zu konvertieren. ...

Das ist ja alles richtig, aber wer soll's denn machen? Ich habe darauf keine Lust (und auch zuwenig Ahnung, um CDVBString zu erweitern) und du machst es bestimmt auch nicht.

[Mucki]

@seife

Sehe ich das richtig, dass für eine konsequente Umstellung via CDVBString bereits alles an Code vorhanden ist? Also hauptsächlich Fleißarbeit gefragt ist um die überall verteilten UTF-8 Konvertierungen aufzuräumen? Oder wie wäre die Vorgehensweise?

[GetAway]

dvbstring.cpp ist jedenfalls bei N-HD und Dbox2 gleich.

[Gaucho316]

Einzig bei Sendern aus dem Nahen Osten habe ich nach wie vor ein Sonderzeichen in der Audiobeschreibung in der XML (0x83, 0x9F...).

Was mich dabei wundert, ist, dass die Audiobeschreibung nur aus genau einem Sonderzeichen besteht. Deshalb würde ich gerne wissen, was per PMT (der erste dvbsnoop-Befehl) und EIT (der zweite dvbsnoop-Befehl) reinkommt. Was steht denn eigentlich in der XML-Datei einer Aufzeichnung von einem der Sender aus dem Nahen Osten per hochauflösendem Neutrino?

[Mucki]

DVBsnoop gibt bei diesen arabischen Sendern keine Info aus, wenn ich die EIT (0x12) abfrage. Entweder die senden Murks oder sie verwenden einen anderen Standard.

[Gaucho316]

Und wie sieht's bei der PMT aus? Mich beschleicht nämlich das Gefühl, dass auch eine Umstellung auf UTF-8 nichts an dem Problem ändern würde, weil die einfach Mist ausstrahlen.

[Mucki]

Man müsste die rohen EIT-Daten raus bekommen, um zu sehen was da gesendet wird.

Was die PMT-Abfrage betrifft, 'dvbsnoop -n 1 -nph 0x062' liefert mir gar nichts, bei keinem Sender, auch nicht bei ZDF...

[Gaucho316]

In der XML-Datei mit dem Sonderzeichen als Audiospurname aus einem der vorherigen Postings ist mir etwas aufgefallen. Der Hex-Wert des Sonderzeichens entspricht einem Teil der Audio-PID.

PID: 643 = 0x0283
Name: 0x83

PID: 671 = 0x029F
Name: 0x9F

PID: 260 = 0x0104
Name: 0x04

PID: 3013 = 0x0BC5
Name: 0xC5

Edit: Das Problem müsste in den Zeilen 251 und 291 von apps/dvb/zapit/src/zapsi/pmt.cpp liegen. Hier wird stur die Audio-PID an einen String übergeben und vergessen, die Zahl vorher in einen String umzuwandeln.

[Mucki]

Wenn ich das richtig deute, wird bei fehlender Audiodescription die Audio-PID dafür genommen... Was spricht denn gegen ein simples "unknown"?

[Gaucho316]

Nichts spricht dagegen. Ich baue dafür nachher gerne einen Patch.

[Mucki]

OK, dann teste ich nachher mal. Dass dir der Zusammenhang in der XML aufgefallen ist... Hut ab...

[Gaucho316]

Hier nun der versprochene Patch:
Link entfernt, da Patch im CVS

P.S.: In das andere Neutrino könnte dieser Patch auch übernommen werden.

[Mucki]

Hab' den Patch installiert und eine Reihe von Testaufnahmen von verschiedenen Sendern gemacht. Es funktioniert alles wie erwartet.

[Gaucho316]

Um das nochmal abschließend klarzustellen, ich habe absolut nichts dagegen, wenn sich jemand hinsetzt und die Mühe macht, Neutrino auf UTF-8 umzustellen. Solange das aber nicht passiert, wäre es gut, wenn jemand meine 3 Patches aus diesem Thread ins CVS einchecken würde, da der aktuelle Stand ja nachweislich kaputt ist.

[rhabarber1848]

neutrino_filter-control-codes-while-converting-latin1-to-utf8_2011-12-14_2028.diff

committed to CVS: http://article.gmane.org/gmane.comp.vid ... x.scm/3166

sectionsd_filter-code-table-in-dvb-strings_2011-12-14_2024.diff

committed to CVS: http://article.gmane.org/gmane.comp.vid ... x.scm/3167

zapit_set-empty-audio-description-to-unknown_2011-12-16_1746.diff

committed to CVS: http://article.gmane.org/gmane.comp.vid ... x.scm/3168

[Gaucho316]

Rhabarber1848, ich habe hier noch eine kleine Folgekorrektur für SIsections.cpp, die du bitte auch einchecken könntest.

Link entfernt, da Patch im CVS

[rhabarber1848]

SIsections_follow-up-for-rev-1.66_2011-12-17_2230.diff

committed to CVS: http://article.gmane.org/gmane.comp.vid ... x.scm/3174

[Mucki]

Hab mir soeben ein aktuelles Image gebaut. Yippieee.... dank Gaucho's Beharrlichkeit gehören die hässlichen Sonderzeichen endlich der Vergangenheit an.
Dickes Danke

[Mucki]

Zu früh gefreut... habe schon wieder Sonderzeichen, diesmal am Ende der Audiodescription.

Code: Alles auswählen

<audiopids selected="2306">
	<audio pid="2306" name="Audio 1 - Channel 5 LondoMȢ/>
	<audio pid="2307" name="Audio 2 - Channel 5 LondoMȢ/>
</audiopids>

Wo kommen die denn her? Control codes sind es jedanfalls nicht...
So sehen die entsprechenden EIT-Daten von dvbsnoop aus.

Code: Alles auswählen

DVB-DescriptorTag: 80 (0x50)  [= component_descriptor]
descriptor_length: 32 (0x20)
reserved: 15 (0x0f)
stream_content: 2 (0x02)
component_type: 3 (0x03)
== Content&Component: (= MPEG-1 Layer 2 audio, stereo (2 channels))
component_tag: 2 (0x02)
ISO639_language_code:  eng
component-description: "Audio 1 - Channel 5 London"  -- Charset: Latin alphabet

DVB-DescriptorTag: 80 (0x50)  [= component_descriptor]
descriptor_length: 35 (0x23)
reserved: 15 (0x0f)
stream_content: 2 (0x02)
component_type: 3 (0x03)
== Content&Component: (= MPEG-1 Layer 2 audio, stereo (2 channels))
component_tag: 3 (0x03)
ISO639_language_code:  NAR
component-description: "Audio 2 - Channel 5 London AD"  -- Charset: Latin alphabet