Jugendschutz im SportPortal!?!?

Beitrag von **Houdini** » Sonntag 16. Oktober 2005, 23:15

zu den Memoryleaks:
unter http://home.arcor.de/houdini/dbox/sectionsd/test.cpp liegt ein Programm, welches ich aus dem sectionsd rausgestrippt habe und das auf dem PC Host laufen kann.
Dabei zeigt sich volgendes Verhalten:
Wenn immer neue Events in die Maps gespeist werden, muß die Map immer mal wieder vergrößert werden, dieses interne "realloc" allokiert einen neuen Speicherbereich, gibt aber scheinbar den alten nicht wieder frei.
Dadurch wird viel Speicher zuviel gebraucht, aber wenn die Anzahl der Events dann stagniert, sollte auch der Speicherverbrauch stagnieren.
Die Änderungen der letzten Monate (Sportportal, Erhöhung des gecachten Bereichs auf 2 Wochen) habe dazu geführt, dass die Anzahl der Events in den Maps erhöht worden ist was somit auch den Speicherverbrauch erheblich erhöht hat.

Die Lösung des Problems: ??tbd??

Edit:
Es gibt keine Lösung, weil es auch kein Problem gibt.
Weil das "realloc" von oben kein realloc ist, sondern ein malloc. Um den Bereich wird die Map vergrößert, der nicht freigegebene Speicher steckt in der Verwaltung/Map. Bei mehreren maps für die events summiert sich das ganz schön (ca. 32 Bytes/event Verwaltungsinfos der Map)

Vielleicht sollte man doch den Zeitraum bis wann die Events gespeichert werden auf eine Woche reduzieren.

Houdini

Beitrag von **morgoth** » Freitag 21. Oktober 2005, 12:04

Houdini hat geschrieben:Vielleicht sollte man doch den Zeitraum bis wann die Events gespeichert werden auf eine Woche reduzieren.
Houdini

Wie wäre es, wenn dieser Wert über die Einstellungen von Neutrino konfigurierbar wäre? So könnte jeder, abhängig vom eigenen Fersehenverhalten, selbst feststellen, bis wieviele Events geladen werden können, bevor der Speicher verbraucht ist.

Gibt es Fortschritte zum Thema sectionsd oder wird erstmal alles so bleiben?

Hallo,

ich bekomme teilweise folgende Meldung im log:

[sectionsd] read: Value too large for defined data type
[sectionsd] readNbytes: received POLLERR

Diese stammt von Premiere1, habs aber auch schon auf ZDF gesehen.

gruß

Beitrag von **Houdini** » Freitag 28. Oktober 2005, 23:56

Gibt es Fortschritte zum Thema sectionsd oder wird erstmal alles so bleiben?

Klar gibts noch Fortschritte, wenn auch kleine.

Hab einen neuen patch gemacht (ist allerdings gegen das cvs vom 21.10.05)
http://home.arcor.de/houdini/dbox/secti ... 28.diff.gz

Changes:
- EIT und SDT DMX buffer verändert
-> keine(weniger) POLLER, kostet Speicher beim EITDMX, spart Speicher beim SDTDMX

- vor dem Parsen der Sections werden die Buffer nicht mehr (unnötig) ein zweites mal allokiert und umkopiert -> mehr Performance, weniger Speicherfragmentierung

- unnötige/unbenutze Funktionen auskommentiert -> das gestrippte sectionsd binary wird 23kB kleiner, Test-/Beispielprogramme wie sdt, epg, nit, ... können dann nicht mehr kompiliert werden.
Dazu habe ich im Makefile.am einen if/else Zweig eingebaut, kenne mich mit dem auto-tools aber nicht aus, vieleicht hat da jemand eine schönere/bessere Idee, Comments welcome.

Houdini

@ Houdini

Das hört sich ja hervorragend an. Da werden wir doch gleich mal testen
wenn die ersten Snaps da sind...

Gruß
____Paule

PS: Danke für Deine tolle Arbeit

Beitrag von **Npq** » Samstag 29. Oktober 2005, 09:59

Houdini hat geschrieben:Dazu habe ich im Makefile.am einen if/else Zweig eingebaut, kenne mich mit dem auto-tools aber nicht aus, vieleicht hat da jemand eine schönere/bessere Idee, Comments welcome.

Hmm, ja, wäre kein Problem, aber:

Die Tools waren sicherlich einfach nur zum Testen des Codes da, wenn du den jetzt veränderst ergibt das keinen Sinn mehr, dann müßtest du wohl entweder die Tools anpassen oder ganz rauswerfen.

Ich weiß aber nicht, ob irgendwer die Tools überhaupt benutzt.

Mußt du entscheiden was du damit machen willst.

Beitrag von **Houdini** » Samstag 29. Oktober 2005, 10:56

das Problem ist das nur die Tools einige Funktionen aus den Files benutzen, der sectionsd diese aber nicht.
Da die Tools nicht Bestandteil der Images sind und nur zum Testen dienen hab ich da einen switch eingebaut, entweder wird der komplette Kram kompiliert incl. Tools oder eine reduzierte Variante wo nur der sectionsd läuft.
Diesen switch könnte man jetzt noch durch den TARGETRULESET_FLASH ersetzen.

Vielleicht gibt es da aber noch ein besseres Vorgehen

Houdini

Beitrag von **Nico 77** » Dienstag 1. November 2005, 18:56

Habe jetzt das aktuelle diff jetzt 2 Tage am laufen, soweit läuft alles.
Segmentation fault hat ish wieder behoben, konnte ich nicht testen.
Bei Direkt ist es nach wie vor so das auch bei Spielfilmen die schon laufen manchmal kein EPG gefunden wird.
Wäre es möglich das der EPG direkt angezeigt werden kann in der Infobar wie bei Enigma? Bei Neutrino muss man ja am Anfang die Infobar immer 2mal aufrufen bis das EPG angezeigt wird.

In wie fern das diff über längere Zeit läuft werde ich in den nächsten Tagen berichten, auf jeden Fall danke.

Wäre schön wenn auf den Unterkanälen der Name der Sendung auf
der Infobar angezeigt wird wenn man die ?-Taste auf der FB drückt...

Ansonsten läuft der Patch soweit problemlos.

Gruß
____Paule

Beitrag von **Houdini** » Mittwoch 2. November 2005, 00:24

der Patch des Tages:
http://home.arcor.de/houdini/dbox/secti ... 51101.diff
Fixed den korrumpierten Event des Sportportals (EIT, nicht Private EPG)

Houdini

Houdini hat geschrieben:der Patch des Tages:
http://home.arcor.de/houdini/dbox/secti ... 51101.diff
Fixed den korrumpierten Event des Sportportals (EIT, nicht Private EPG)

Houdini

Danke Houdini

Beitrag von **mb405** » Mittwoch 2. November 2005, 09:01

muss ich den patch vom 28.10. auch einspielen dafür?

Beitrag von **T-Tron** » Mittwoch 2. November 2005, 09:09

mb405 hat geschrieben:muss ich den patch vom 28.10. auch einspielen dafür?

Wenn du mehr als nur die epgview.cpp patchen willst schon

Beitrag von **mb405** » Mittwoch 2. November 2005, 09:45

ok habs drin, beides.
mal sehen

Beitrag von **mb405** » Mittwoch 2. November 2005, 19:32

also, ich habs ausprobiert.
kann es sein, das im direkt portal keine filmauswahl mehr kommt (oder ist das zufall, da alle kanäle für fussball gebraucht werden)im portal stehen die filmstarts bei D1-D5 ab 23:15/23:30.

ein wunsch hätte ich noch

warum ist bei RTL Group der EPG und folgende bei (EPG)?-?-nach rechts nicht auswählbar ?
im (EPG Plus)rot-rot kann man bei RTL alle nachfolgenden sendungen sehen

ansonsten kann ich bis jetzt nix fehlerhaftes feststellen

Beitrag von **T-Tron** » Mittwoch 2. November 2005, 21:28

mb405 hat recht, RTL suckt und Premiere spart gerade bei den Direkten

Beitrag von **Houdini** » Mittwoch 2. November 2005, 21:32

Premiere Sport hat zur Zeit 12 Zusatzoptionen da bleibt für Direkt nix mehr übrig
Zicken bei RTL hab ich auch ohne die epgview Änderung von gestern

Das mit Direkt und Sport ist normal, war schon immer so wenn große Events anliegen.

Der RTL Bug könnte eventl. durch den Doppel EPG Fix kommen, habe das aber nicht getestet.

http://cvs.tuxbox-cvs.sourceforge.net/t ... 41&r2=1.44

Wenn man Rot Rot ? drückt kann man durch rechts und links folgende und vergangende EPG-Einträge bei RTL sehen, also scheint der Einstieg bei ? ? nicht korrekt zu sein.

Beitrag von **mb405** » Donnerstag 3. November 2005, 08:56

also sectionsdclient.cpp scheint die lösung zu sein.

...
Thu Sep 15 18:25:29 2005 UTC (6 weeks, 6 days ago) by metallica
..
Do Not Show rtl double events

zwischen 1.41 ->1.42. die anderen 1.43/1.44 sind ja alle innerhalb eines tages gechekt wurden. kann ja mal einer guggen, obs mit der 1.41 noch geht.

So, das erste Prob mit den aktuellen diffs und zwar habe ich jetzt das 2te mal schön das sich der sectionsd verabschiedet und alle EPG Daten weg sind. Der killt sich wie von Geisterhand anscheinend selber verliert alle EPG Daten.

Der Zeitraum sind immer ca. 24 Stunden.

Nico 77 hat geschrieben:So, das erste Prob mit den aktuellen diffs und zwar habe ich jetzt das 2te mal schön das sich der sectionsd verabschiedet und alle EPG Daten weg sind. Der killt sich wie von Geisterhand anscheinend selber verliert alle EPG Daten.

Der Zeitraum sind immer ca. 24 Stunden.

Ist doch schön, dann gibt der SectionsD den Speicher wieder frei

Stimmt, dann haben das was wir wollten einen Resourcenschlanken sectionsd.

mb405 hat geschrieben:also sectionsdclient.cpp scheint die lösung zu sein.

...
Thu Sep 15 18:25:29 2005 UTC (6 weeks, 6 days ago) by metallica
..
Do Not Show rtl double events
zwischen 1.41 ->1.42. die anderen 1.43/1.44 sind ja alle innerhalb eines tages gechekt wurden. kann ja mal einer guggen, obs mit der 1.41 noch geht.

Und?
http://cvs.tuxbox-cvs.sourceforge.net/c ... 41&r2=1.44
sieht aber nicht danach aus, er push ja back wenn man über Rot Rot ? recht/lins geht. Vielleicht liegt es an aEvent.description, wenn er nicht neues bekommt