EPG-Filter

Beitrag von **Tommy** » Samstag 30. Dezember 2006, 22:19

So Jungs - ich hatte den Kahn voll und habe ein Tool gebaut was mir die services XML in die epgfilter syntax umlegt.

Hier jetzt alle Astra 19eRadios (service type2) zum White- oder Blacklisten:

EDIT: Mit dem Tool (s.u.) könnt Ihr die Listen selber machen - da brauch ich den Thread nich zumüllen.

Beitrag von **Tommy** » Samstag 30. Dezember 2006, 22:22

Und hier alle Astra 19e TV Sender zum White- oder Blacklisten:

vergeßt es - ist einfach zu groß fürs forum

Aaaaber Ihr findet mein Tool unter: http://gpi.airlane.de/files/service2filter.exe

ist in vb6 geschrieben und sollte unter nem normalen XP laufen.

Die exe zusammen mit einer services.xml in ein Verzeichnis und radio bzw. TV klicken. Dann copy/paste usw.....

Tommy hat geschrieben:So Jungs - ich hatte den Kahn voll und habe ein Tool gebaut, was mir die services XML in die epgfilter syntax umlegt.

Könntest Du das Tool irgendwo uploaden?

Im Kabel-BW-Netz liegen die Transponder wieder anders, das wäre eine große Erleichterung für die Nutzer der verschiedenen Kabelnetze.

Edit On: Vielen Dank Du bist super

Greetz von DrStoned

Beitrag von **Tommy** » Samstag 30. Dezember 2006, 22:58

ich hoffe nur, daß das tool bei mehreren Sat's in einer services.xml nicht spinnt - ich habs in der Eile darauf nich getestet

@Dr. Stoned: Du darfst es auch im JTG Forum uploaden bzw. verlinken

Also ich hab jetzt mal 2 Stunden getest...

EPG-Filter langsam erweitert und mit TOP den Speicher und die CPU-Last beobachtet.

Alles auf dem Sender "Das Erste". Freier Speicher ohne EPG 9088k

- EPG einlesen ohne epgfilter.xml
-- CPU Last sehr hoch
-- Sectionsd rödelt ca. 2 Minuten rum
-- Freier Speicher nach dem Einlesen 3948k

- EPG einlesen mit epgfilter.xml (ohne ARD-Radio und einige 3ten)
-- CPU Last hoch
-- Sectionsd rödelt ca. 1,5 Minuten rum
-- Freier Speicher nach dem Einlesen 4848k

Code: Alles auswählen

<?xml version="1.0" encoding="UTF-8"?>
<epgfilter is_whitelist = "0" except_current_next = "0">
   <filter name="" original_network_id="0001" transport_stream_id="0445" service_id="0000"/> 
   <filter name="" original_network_id="0001" transport_stream_id="0431" service_id="0000"/>
</epgfilter>

- EPG einlesen mit epgfilter.xml (ohne ARD-Radio und einige 3ten und ohne die ZDF Spartenkanäle)
-- CPU Last mittel-- Sectionsd rödelt ca. 0,8 Minuten rum
-- Freier Speicher nach dem Einlesen 7312k

Code: Alles auswählen

<?xml version="1.0" encoding="UTF-8"?>
<epgfilter is_whitelist = "0" except_current_next = "0">
   <filter name="" original_network_id="0001" transport_stream_id="0445" service_id="0000"/> 
   <filter name="" original_network_id="0001" transport_stream_id="0431" service_id="0000"/>
   <filter name="3Sat" original_network_id="0001" transport_stream_id="0437" service_id="6d67"/>
   <filter name="ZDFinfokanal" original_network_id="0001" transport_stream_id="0437" service_id="6d6b"/>
   <filter name="DKULTUR" original_network_id="0001" transport_stream_id="0437" service_id="6d6c"/>
   <filter name="DLF" original_network_id="0001" transport_stream_id="0437" service_id="6d6d"/>
   <filter name="ZDFdokukanal" original_network_id="0001" transport_stream_id="0437" service_id="6d6e"/>
   <filter name="ZDFtheaterkanal" original_network_id="0001" transport_stream_id="0437" service_id="6d70"/>
</epgfilter>

- EPG einlesen mit epgfilter.xml (ohne ARD-Radio und alle 3ten und ohne die ZDF Spartenkanäle)
-- CPU Last mittel
-- Sectionsd rödelt ca. 0,3 Minuten rum
-- Freier Speicher nach dem Einlesen 8056k

Code: Alles auswählen

<?xml version="1.0" encoding="UTF-8"?>
<epgfilter is_whitelist = "0" except_current_next = "0">
   <filter name="" original_network_id="0001" transport_stream_id="0445" service_id="0000"/> 
   <filter name="" original_network_id="0001" transport_stream_id="0431" service_id="0000"/>
   <filter name="3Sat" original_network_id="0001" transport_stream_id="0437" service_id="6d67"/>
   <filter name="ZDFinfokanal" original_network_id="0001" transport_stream_id="0437" service_id="6d6b"/>
   <filter name="DKULTUR" original_network_id="0001" transport_stream_id="0437" service_id="6d6c"/>
   <filter name="DLF" original_network_id="0001" transport_stream_id="0437" service_id="6d6d"/>
   <filter name="ZDFdokukanal" original_network_id="0001" transport_stream_id="0437" service_id="6d6e"/>
   <filter name="ZDFtheaterkanal" original_network_id="0001" transport_stream_id="0437" service_id="6d70"/>
   <filter name="Bayerisches FS" original_network_id="0001" transport_stream_id="044d" service_id="6dcb"/>
   <filter name="hr-fernsehen" original_network_id="0001" transport_stream_id="044d" service_id="6dcc"/>
   <filter name="arte" original_network_id="0001" transport_stream_id="044d" service_id="6dcd"/>
   <filter name="WDR Köln" original_network_id="0001" transport_stream_id="044d" service_id="6dcf"/>
   <filter name="BR-alpha" original_network_id="0001" transport_stream_id="044d" service_id="6dd0"/>
   <filter name="SWR Fernsehen BW" original_network_id="0001" transport_stream_id="044d" service_id="6dd1"/>
   <filter name="Phoenix" original_network_id="0001" transport_stream_id="044d" service_id="6dd2"/>
</epgfilter>

Fazit: Super Funktion. Keinerlei Probleme. Endlich Speicher ohne Ende. Ab ins CVS

Gruß
____Paule

PS: Man muss drauf achten, dass die epgfilter.xml nach /var/tuxbox/config/ geladen werden muss!

Beitrag von **Token** » Samstag 30. Dezember 2006, 23:26

... edit ...

Beitrag von **Houdini** » Samstag 30. Dezember 2006, 23:29

20h ist doch der ascii für das leerzeichen...

Beitrag von **Token** » Samstag 30. Dezember 2006, 23:31

also wenn ich hier copy/paste mache mit textpad oder UE dann funktioniert hier die xml datei nicht mehr ?!
cu token

Beitrag von **Houdini** » Samstag 30. Dezember 2006, 23:42

copy/past von was wohin?
was ist mit den zeilenenden? dos/unix?

Beitrag von **Tommy** » Samstag 30. Dezember 2006, 23:48

Ich kann nichts negatives feststellen - der Kate (Linux) zeigt mir sauberes xml.

in meinem Tool ist ne RichTextbox und die brüche sind mit vbNewline gemacht

Beitrag von **Token** » Sonntag 31. Dezember 2006, 00:05

... ich nehme mir den 2 zeiler von nirvana's letzter xml ...
... anschliessend hole ich mir meine radio-daten mittels tommy's tool ...
copy in die zwischenablage ... paste ins notepad oder UE ...
(nein, ohne dos-konvertierung)
... speichern unter unix/ansi ... oder standard=vorlage (und die ist ja linux)
sprich der 2-zeiler von nirvana wird akzeptiert - die mit dem tool ausgelesenen daten und ins notepad/UE eingefuegten daten nicht mehr !
cu token

p.s.: ich hab hier windows ... sorry fuers outen

Den Pfad der epgfilter.xml würde ich aber noch ändern.

Ist doch in /var/tuxbox/config/zapit besser aufgehoben finde ich...

@Nirvana
Vielen Dank für diese Änderung! Sie löst all meine Speicherprobleme! THX

Gruß
____Paule

Beitrag von **Tommy** » Sonntag 31. Dezember 2006, 00:16

Token hat geschrieben:... ich nehme mir den 2 zeiler von nirvana's letzter xml ...
... anschliessend hole ich mir meine radio-daten mittels tommy's tool ...
copy in die zwischenablage ... paste ins notepad oder UE ...
(nein, ohne dos-konvertierung)
... speichern unter unix/ansi ... oder standard=vorlage (und die ist ja linux)
sprich der 2-zeiler von nirvana wird akzeptiert - die mit dem tool ausgelesenen daten und ins notepad/UE eingefuegten daten nicht mehr !
cu token

p.s.: ich hab hier windows ... sorry fuers outen

irgendwie hast Du Recht sobald die Zeilen aus meinem Tool kommen werden die Filter beim Start des sectionsd nicht gesetzt.

Was soll ich in vb da jetzt für einen CHR() (CHR(10)?, CHR(13)?) statt leerzeichen einbasteln?

Ich mach morgen weiter

Beitrag von **Token** » Sonntag 31. Dezember 2006, 00:19

... und ich habe schon an mir gezweifelt ...
... tommy, du packst das !

cu token

Beitrag von **usul1** » Sonntag 31. Dezember 2006, 01:23

Tommy hat geschrieben:Was soll ich in vb da jetzt für einen CHR() (CHR(10)?, CHR(13)?) statt leerzeichen einbasteln?

Ich kann dein Tool nicht testen (Hab hier gerade nur Win98). Aber wenns nicht geht (das erzeugte XML) würde ich mal bei den "name" Tags anfangen zu suchen. Bei dem was ich hier gepostet sehe werden die 8Bit Zweichen nicht umschrieben (z.B. name="WDR Köln"). Da sollte man es evtl. mal mit sowas &#_2_2_8_; (_ wegen Forensoftware) versuchen (UTF-8 Codierung geht zumindest bei den EPG XML Dateien die der Sectionsd einliest NICHT).

cu
usul

Edit: Evtl. erscheinen hier die Umlaute aber in den geposteten XML Dateien auch nur unkodiert weil diese blöde Forensoftware das automatisch umwandelt auch wenn sie im CODE Tag stehen

Na egal, jedenfalls ist der XML Parser den der Sectionsd verwendet sehr Empfinglich.

Hi,

habe auf die Schnelle ein Script geklöppelt, was aus einer bouquets.xml eine epglist.xml erstellt.

Es werden somit nur die Services aus den Bouquets durchgelassen.

----
#!/bin/sh

IN='/var/tuxbox/config/zapit/bouquets.xml'
OUT='/var/tuxbox/config/epgfilter.xml'

grep '<channel ' $IN | cut -d '"' -f 1,2,5,6,7,8,9 | \
sed 's/<channel serviceID/<filter service_id/g' | \
sed 's/tsid/transport_stream_id/g' | \
sed 's/onid/original_network_id/g' | \
sed 's/ sat\=/\/\>/g' > /tmp/FILTER

echo '<?xml version="1.0" encoding="UTF-8"?>' > $OUT
echo '<epgfilter is_whitelist="1" except_current_next="0">' >> $OUT
cat /tmp/FILTER >> $OUT
echo '</epgfilter>' >> $OUT

rm /tmp/FILTER

------

Das Script einfach auf die Box, chmod 755 und ...

Falls es beim copy & paste Probleme gibt, hier als download
http://gload.de/download.php?id=951BED83

CU

Beitrag von **Tommy** » Sonntag 31. Dezember 2006, 09:41

@Token, usul, Houdini:

bei einem Tool liegt es an den Namen - lasse ich diese weg werden die Filter gesetzt. Eigentlich komisch, da ich die Namen 1:1 aus der services.xml nehme. Also nix mit falschen Leerzeichen

Bis Mittag gibts ne Version die läuft

@ PizzaPicante

Im Prinzip wäre jetzt noch schön, wenn man bestimmte Anbieter
(z.B. "Meine Favoriten") der Whitelist hinzufügen könnte.
Dann wäre die Sache perfekt...

Gruß
____Paule

Beitrag von **Tommy** » Sonntag 31. Dezember 2006, 11:22

Sodele:
http://gpi.airlane.de/files/service2filter_v2.exe

Alles was nicht 0-9, a-z, A-Z ist wird durch _ ersetzt. Das ist zwar nicht schön, aber die Namen dienen ja auch nur der Orientierung und werden nirgendwo angezeigt. Ein Test mit dem sectionsd zeigte, das die Filter eingelesen werden.

Gruß,
Tommy

Hi,

mir pers. geht's nur um die bouquetts.xml,
aber eigentlich kannst Du alles mit reinnehmen, was auch immer Du willst.

zb.
mach Dir eine Datei "Meine Favoriten" und ändere das script auf

cat /tmp/FILTER >> $OUT
cat "Meine Favoriten" >> $OUT
echo '</epgfilter>' >> $OUT

:-)

CU

Beitrag von **Token** » Sonntag 31. Dezember 2006, 13:33

... so tommy, das V2-script funktioniert jetzt einwandfrei, damit haste dir erstmal den Ksalat heute abend erstmal verdient !

... man koennte natuerlich auch die namen ganz weg lassen, die werden beim einlesen eigentlich ja ignoriert ?!
... PT-1, das sollte auch in UK funktionieren ?
cu token

Beitrag von **Tommy** » Sonntag 31. Dezember 2006, 14:03

Token hat geschrieben:... so tommy, das V2-script funktioniert jetzt einwandfrei, damit haste dir erstmal den Ksalat heute abend erstmal verdient !
... man koennte natuerlich auch die namen ganz weg lassen, die werden beim einlesen eigentlich ja ignoriert ?!
... PT-1, das sollte auch in UK funktionieren ?
cu token

oki unter http://gpi.airlane.de/files/service2filter_v3.exe findet Ihr eine Version bei der der Name optional ist.

Mehr werde ich erstmal nicht dran machen - sonst wirds am Ende noch ein Bouqueteditor oder ein Schweizer Taschenmesser

Hi,

ich hab mal ein neues Skript geschrieben, dass nur Listen einliest
die nicht versteckt sind (hidden="0").

Code: Alles auswählen

#! /bin/sh
# EPG-Filter
# by PauleFoul
# Version: 0.1

	rm /var/tuxbox/config/epgfilter.xml
	#Datenmuell entfernen :-)
	sed -e '/<Bou.*.hidden="1".*.>/,/.*.Bouquet>/ d'  /var/tuxbox/config/zapit/bouquets.xml > /tmp/test1.xml
	echo '<?xml version="1.0" encoding="UTF-8"?>' > /tmp/test2.xml
	echo '<epgfilter is_whitelist="1" except_current_next="0">' >> /tmp/test2.xml
	sed -e 's/<channel/<filter/' -e 's/onid/original_network_id/' -e 's/tsid/transport_stream_id/' -e 's/serviceID/service_id/' -e 's/<?.*.?>//' -e 's/<.*.pit>//' -e 's/<Bouq.*.">//' -e 's/<.*.uet>//' -e '/^[^0-9a-zA-Z!-\/]*$/d' tmp/test1.xml >> tmp/test2.xml
	echo '</epgfilter>' >> /tmp/test2.xml

	cp /tmp/test2.xml /var/tuxbox/config/epgfilter.xml
	rm /tmp/test1.xml ; rm /tmp/test2.xml

Die Frage wäre ob man in den BouquetEditor neben "Verstecken" und
"Sperren" auch noch "EPG sperren" als Option einbauen könnte.

Code: Alles auswählen

<Bouquet type="0" bouquet_id="0000" name="Unknown Provider" hidden="0" locked="0" epg="1">

Oder kann man was über

Code: Alles auswählen

type="0"

drehen? Keine Ahnung ob das für irgendwas verwendet wird...

Dann wäre die Sache aus Neutrino konfigurierbar. Das Skript könnte ja man dann bei Booten oder beim Schließen des Editors aufrufen.

Gruß
____Paule

Beitrag von **Tommy** » Sonntag 31. Dezember 2006, 20:24

man kann auch richtig Aufwand betreiben ;-) Ich für meinen Teil habe meine Liste erstellt und werde Sie vermutl. in den nächsten 3 Jahren nicht mehr ändern.
@Paule: willst Du echt dem Nutzer zumuten mit dem Boxeigenen Bouqueteditor alle einzelnen "nicht EPG" Sender festzulegen? Das ist bei 1-2 Sateliten schon eine Tagesaufgabe.

---> guten Rutsch

Tommy hat geschrieben: @Paule: willst Du echt dem Nutzer zumuten mit dem Boxeigenen Bouqueteditor alle einzelnen "nicht EPG" Sender festzulegen? Das ist bei 1-2 Sateliten schon eine Tagesaufgabe.

---> guten Rutsch

Naja, es muss ja nur sagen welche er sehen möchte

Aber war ja auch nur so eine Idee.
Ist für die Nutzer die ich kenne auf jedenfall einfacher
als mit einem XML-Editor rumzupfrimmeln...

Guten Rutsch