Sectionsd abnehmender Speicher -> Reproduzierbar!!!

[Innuendo]

Das einzige was man einbauen sollte, ist die Konfigurierbarkeit von Cache/Old-Events. Damit kann jeder seinen Speicher selber anpassen.

hourstocache ist im houdini patch enthalten, schick gelöst über einen notifier. im selben stil einen notifier für oldeventsare funktioniert bei mir leider nicht (nur mit sectionsd neustart)

[kroki]

@petgun

Ich bin Sat-Nutzer, habe das aktuelle CVS und habe eine Box nur für Aufnahmen. Diese läuft ständig und hat noch keine Aufnahme aus Speichermangel verweigert!

Ich Cache allerdings auch nur eine Woche im vorraus........

Kroki

[petgun]

..habe eine Box nur für Aufnahmen. Diese läuft ständig und hat noch keine Aufnahme aus Speichermangel verweigert!

..Du zappst also auch so gut wie nicht mit der 'Aufnahmebox' ?

[kroki]

@petgun

ich versuche schon seit ein paar Tagen wirklich die Kiste zum abschmieren zu kriegen, aber ich schaffe es nicht. Im Moment habe ich so knapp an die 50% Speicher beim sectionsd und ich kann ohne Probleme aufnehmen....

Bei mein beiden Zapping-Boxen sieht es genauso aus, da ist meine Frau dran und die kann zappen .....

Kroki

[petgun]

..ich versuche schon seit ein paar Tagen wirklich die Kiste zum abschmieren zu kriegen...
.
..da ist meine Frau dran und die kann zappen

...dann muss vielleicht doch noch mehr dazu kommen...Movieplayer/Y-Live/????
50% MEM fuer sectionsd habe ich bisher fuer grenzwertig gehalten..

[Nirvana]

http://s39.yousendit.com/d.aspx?id=1D5I ... WJ61HM2RW8

hat folgende Parameter:
MAX_EVENTS 7500
EIT Speicher 384
addFilter 6X auskommentiert (T-Tron, war sonst noch was?)

Heute abend war der Speicher gegenüber heute morgen unverändert. Naja, nun habe ich ihn schweren Herzens getötet.

@Houdini
Ganz richtig funktioniert die findnextevent Funktion immer noch nicht. Das nächste Event wird genau dann nicht gefunden wenn die erste Startzeit des eigentlich folgenden Events vor der aktuellen Startzeit des laufenden Events lag. Das tritt erst nach ein paar Tagen auf und ist mir deshalb bisher nicht aufgefallen. Was meinst du ist günstiger? Entweder wir verzichten auf die Sortierung und suchen brute force die nächste Startzeit in findnext Event oder wir verzichten auf die "NVOD" Sportevents. Mir ist das im Prinzip wurscht.

[Metallica]

@Nirvana
Schreib , wenn was in cvs hin soll,

[Innuendo]

häng doch bitte noch ein diff oder wegen mir die cpp mit dran

[Nirvana]

Ich möchte aber nicht dass du Ärger bekommst. Wegen Spielstop und so. Meinst du echt?

[Torsten73]

Hi,
nun da Homar hier die Notbremse gezogen hatte, sollten wir ihn nicht bei der Entscheidung vergessen, was ins CVS soll, sonst haben wir noch einen geschlossenen Thread

Ich meine nur das es noch nicht ins CVS soll, weil wir damit gegen die "Spielstopregel" verstoßen würden, und das wollen wir doch nicht...

@Kroki:
Du must eine Wunderbox haben. Anders kann ich es mir nicht erklären. Mache mal den Speichertest nach meiner Beschreibung am Anfang des Threads und auch Du wirst sehen wie der Speicher abnimmt.

@Nirvana:
Sportevents habe ich nicht getestet, da ich kein Sport schaue, aber im EPG kann man das sich ja trotzdem mal ansehen. Irgendwelche Tips worauf man beim Testen noch achten soll?

Cu
Torsten

Nachtrag:
Könnt Ihr in den Test Sectionsd es eine andere Versionsnummer oder Ersteller als Info hinterlegen, dann sehe ich auch das ich die richtige sectionsd gestartet habe.

[dietmarw]

evtl. sollte mal jemand ein "definiertes" testscript schreiben
das (die sections version ausliest und) über sleeps und zaps
ein reproduzierbares ergebnis in ein /tmp/sections.log schreibt??

[Torsten73]

gute Idee, aber was mache ich wenn die Box absemmelt? Dann komme ich an Tmp nicht mehr dran.
Was soll ins Log rein? kann man die TOP Anzeige auf ein NFS Share ev. umleiten?

Torsten

[rasc]

@petgun
T-Trons Version unterscheidet sich vom CVS durch ein "//".

Er liest einfach nicht alle Events ein und tut damit genau das was ich mit dem Eventlimit auch mache. Nur spart er andere Events. Allerdings eben nur so lange, bis man doch hinschaltet. Deswegen meine Kritik.

Der freie Speicher kann ja erst steigen wenn alte "größere" Events durch kleinere ersetzt werden.

Aehm, Events "ausschalten" bringt es nicht.
Wie schon Nirvana sagt, spätestens wenn man über ZDF, ARD, RAI, etc. drüberhoppelt, bauen sich mehr Events im Speicher aus als einem lieb sein kann.

Anstelle hier Bugfixing/Raten bis zum geht nicht mehr zu betreiben, sollte man auch mal in Erwägung ziehen, ob es nicht einfacher ist den sectionsd "neu" zu schreiben - sprich mit zapit gleich zu überdenken.

Der sectionsd muesste dynamisch auf Speicherengpässe reagieren - was er heute nicht vernünftig tut (z.B: Events in der Zukunft bei Engpaessen löschen).

[Torsten73]

@Rasc:
da hast Du vollkommen Recht. Das sehen wir hier genauso (oder?). Es wurde auch schon mal gefragt, ob es einen DVB Spezi gibt, der den Jungs hier unter die Arme greifen kann und hilft beim Proggen.

Das was wir hier machen hat lediglich den Zweck, eine vorübergehende annähernd stabil laufende Version hinzubekommen mit Hilfe von ein paar Testkaninchen, bevor wieder was ins CVS kommt was nicht richtig funktioniert.

Um dann hoffentlich neu anzufangen...

Cu
Torsten

[Houdini]

Der sectionsd muesste dynamisch auf Speicherengpässe reagieren - was er heute nicht vernünftig tut (z.B: Events in der Zukunft bei Engpaessen löschen).

So eine Version hatte ich mir mal gebaut, da wurden die secondstocache je nach aktuellem Speicherverbrauch vergrößert oder verkleinert, aber es hat nicht wirklich gut funktioniert, weil die Hälfte des Speichers für die Maps etc. verbraucht wird und der Speicher den die Maps selber benutzen nicht wieder freigegeben wird, wenn Elemente aus der Map gelöscht werden.

Meiner Meinung nach ist die Krux die Verwaltung der Events in diesen STL Objekten, dass ist zu Speicheraufwendig, da müsste mal was geniales und sparsames her.
Und das ist unabhängig, ob eine neuer sectionsd gemacht wird oder nicht.

Houdini

[Günther]

zum Thema wenig Speicher und keiner Aufnahme möglich (löst zwar nicht das eigentliche Problem, aber es könnte die Probleme mit der Aufnahme mindern, wäre auch bei einem neuen sectionsd gut zu gebrauchen).
Könntet Ihr denn mal eine Funktion in den sectionsd und SectionClient einbauen, mit der man von aussen den Cache während der Laufzeit reduzieren kann? Z.B braucht der MoviePlayer keine EPG-Daten
und bei Aufnahme könnte man z.B. nur die EPG des aktuellen Programms, current/next der Programm im gleichen Transponder behalten und alle anderen löschen.

Nur so als Beispiel:
typedef struct
{
FLUSH_METHOD_ALL = 0, // clear all EPG data
FLUSH_METHOD_1 = 0, // clear all EPG data, except current channel next/prev
FLUSH_METHOD_2 = 0, // clear all EPG data, except current channel (1day) + other current transponder channels next/prev
FLUSH_METHOD_3 = 0, // clear all EPG data, except current channel (1week) + other current transponder channels (1day) + other channels next/prev
}FLUSH_METHOD;

bool flushEpgCache(FLUSH_METHOD method)



PS:
Warum macht den ein Dev nicht mal einen Sectionsd-Spiel Branch auf? Dann wären doch alle zufrieden, oder? Die Image-Bauer liesen sich bestimmt überreden Ihr Script zu ändern, um auch dafür ein Daily-Image automatisch zu Testzwecken zu erzeugen .... Und dann wäre alle Ideen schon mal im cvs archiviert ... und auf dem Main-Branch kann Homar dann zum letzten stabilen sectionsd zurückkehren...

[Nirvana]

@Günther

Eine solche Funktion Ist in einem der vorherigen Threads schon beschlossen worden.

[Günther]

Bliebe noch der Spiel-Branch...

Günther

[Nirvana]

Ja für Spiele bin ich auch immer zu haben.

Nachtrag noch zu der Flush Funktion: Die gecacheten Sender und Transponder sollen dann auch gelöscht werden.

[Nirvana]

http://s58.yousendit.com/d.aspx?id=0HSO ... LIBM6N2EXK

- BugFix für automatische Sendersuche. Wer es aus hat, braucht es nicht zu laden.

- Premiere Direkt Service 0x00d3 Fix. Naja, eigentlich kann es nicht unsere Aufgabe sein, hinter den Fehlern der Sender hinterherzuprogrammieren, aber was solls? Ich hatte grad meine soziale Minute.

[InTheCliringSt&sTheDB]

Guten morgen Allerseits!

Hab mir gestern die sectionsd von Nirvana zum Testen geholt, nach anfänglichen Problemen (erst nach dem dritten Neustart hat der EPG länger als dreimal Umschalten durchgehalten) läufts jetzt ganz ordentlich. Scheint mir auch etwas stabiler, als die von T-Tron. Erste offensichtliche Veränderung ist, dass nur der EPG des aktuellen Transonders vorliegt, also bei Das Erste nur von ca. nem halben Dutzend Programmen aus dem ARD Bouquet, aber das war ja schon erwähnt worden.

Hab gestern abend dann noch ein paar Durchläufe zum Testen des Umschaltverhaltens gemacht, wie bisher nur auf einem Transponder, da war der sectionsd sehr zurückhaltend.

Hab heute morgen dann auch mehrfach Transponder gewechselt, über das gesamte Bouquet des ZDF geschalten - der ZDF-Dokukanal-Bug (oder wars Infokanal?) ist nicht aufgetreten, trotz schlanker Variable.

Nachdem aber über die gesamte Laufzeit meines Testes der zusätzliche Prozeß sectionsd -d offen war (siehe unten) sind meine Ergebnisse erst mal mit Vorsicht zu genießen.

Hier mal der aktuelle Zustand:

Code: Alles auswählen

USER       PID %CPU %MEM   VSZ  RSS TTY      STAT START   TIME COMMAND
root         1  0.0  1.7  1764  532 ?        S    Dec16   0:02 init
root         2  0.0  0.0     0    0 ?        SW   Dec16   0:00 [keventd]
root         3  0.0  0.0     0    0 ?        SWN  Dec16   0:25 [ksoftirqd_CPU0]
root         4  0.0  0.0     0    0 ?        SW   Dec16   0:00 [kswapd]
root         5  0.0  0.0     0    0 ?        SW   Dec16   0:00 [bdflush]
root         6  0.0  0.0     0    0 ?        SW   Dec16   0:00 [kupdated]
root         7  0.0  0.0     0    0 ?        SW   Dec16   0:00 [mtdblockd]
root         9  0.0  1.7  1764  532 ?        S    Dec16   0:00 init
root        10  0.0  1.6  1760  524 ?        S    Dec16   0:00 /bin/sh /etc/init
root        13  0.0  0.0     0    0 ?        SWN  Dec16   0:00 [jffs2_gcd_mtd3]
root        23  0.0  1.9  1836  588 ?        S    Dec16   0:00 /sbin/inetd
root        51  0.0  1.6  1768  520 ?        S    Dec16   0:00 udhcpc -n -p /var
root        72  0.0  0.0     0    0 ?        SW   Dec16   0:34 [avia_av_wdt]
root        76  0.0  0.0     0    0 ?        SW   Dec16   0:00 [avia_gt_wdt]
root        97  0.0  1.6  1760  516 ?        S    Dec16   0:00 /bin/sh /var/tuxb
root       101  0.0  9.1 54900 2816 ?        S    Dec16   0:03 /var/bin/sections
root       103  0.0  9.1 54900 2816 ?        S    Dec16   0:00 /var/bin/sections
root       104  0.0  9.1 54900 2816 ?        S    Dec16   0:00 /var/bin/sections
root       105  4.7  9.1 54900 2816 ?        S    Dec16  41:08 /var/bin/sections
root       106  0.0  9.1 54900 2816 ?        S    Dec16   0:00 /var/bin/sections
root       107  0.0  9.1 54900 2816 ?        S    Dec16   0:00 /var/bin/sections
root       108  0.0  9.1 54900 2816 ?        S    Dec16   0:01 /var/bin/sections
root       109  0.0  9.1 54900 2816 ?        S    Dec16   0:03 /var/bin/sections
root       110  0.0  3.6 11244 1124 ?        S    Dec16   0:00 /bin/timerd
root       113  0.0  3.6 11244 1124 ?        S    Dec16   0:00 /bin/timerd
root       114  0.0  3.6 11244 1124 ?        S    Dec16   0:00 /bin/timerd
root       115  0.0  0.0     0    0 ?        SW   Dec16   0:00 [kdvb-fe-0:0]
root       116  0.0  4.4  3292 1364 ?        S    Dec16   0:40 /bin/zapit
root       119  0.0  1.1  1076  368 ?        S    Dec16   0:00 /var/bin/camd2
root       121  0.0  3.6 11416 1136 ?        S    Dec16   0:00 /bin/controld
root       122  0.0  3.6 11416 1136 ?        S    Dec16   0:00 /bin/controld
root       124  0.0  3.6 11416 1136 ?        S    Dec16   0:00 /bin/controld
root       126  0.1 10.7 25648 3324 ?        S    Dec16   1:38 /bin/neutrino -u
root       129  0.0 10.7 25648 3324 ?        S    Dec16   0:00 /bin/neutrino -u
root       130  0.1 10.7 25648 3324 ?        S    Dec16   1:26 /bin/neutrino -u
root       131  0.0 10.7 25648 3324 ?        S    Dec16   0:00 /bin/neutrino -u
root       476  0.0 14.0 56344 4344 ?        S    Dec16   0:06 sectionsd -d
root       477  0.0 14.0 56344 4344 ?        S    Dec16   0:00 sectionsd -d
root       478  0.0 14.0 56344 4344 ?        S    Dec16   0:00 sectionsd -d
root       479  6.5 14.0 56344 4344 ?        S    Dec16  56:07 sectionsd -d
root       480  0.0 14.0 56344 4344 ?        S    Dec16   0:00 sectionsd -d
root       481  0.0 14.0 56344 4344 ?        S    Dec16   0:00 sectionsd -d
root       482  0.0 14.0 56344 4344 ?        S    Dec16   0:01 sectionsd -d
root       483  0.0 14.0 56344 4344 ?        S    Dec16   0:04 sectionsd -d
root      5726  0.0  6.4  5356 2000 ?        S    02:50   0:00 nhttpd
root      5727  0.0  6.4  5356 2000 ?        S    02:50   0:00 nhttpd
root      5841  0.8  1.3  1768  424 ?        S    08:24   0:26 telnetd
root      5842  0.0  2.1  1844  660 pts/2    S    08:24   0:00 -sh
root      5882  8.7  2.5  1472  800 pts/2    S    08:30   4:20 top
root      5883  2.1  1.3  1768  420 ?        S    09:19   0:00 telnetd
root      5884  2.5  2.1  1844  660 pts/3    S    09:19   0:00 -sh
root      5886  0.0  2.4  2420  752 pts/3    R    09:20   0:00 ps aux

Wobei sectionsd -d von mir im telnet gestartet wurde. Ist das normal/gewünscht, dass ein Prozeß (sectionsd -d) der über telnet ausgeführt wird, auch nach strg+c weiterhin läuft? Nach Kill 480 siehts dann aus wie folgt, das gibt Hoffnung auf mindestens fünf Tage Schwiegermuttertauglichkeit.

Code: Alles auswählen

USER       PID %CPU %MEM   VSZ  RSS TTY      STAT START   TIME COMMAND
root         1  0.0  1.7  1764  532 ?        S    Dec16   0:02 init
root         2  0.0  0.0     0    0 ?        SW   Dec16   0:00 [keventd]
root         3  0.0  0.0     0    0 ?        SWN  Dec16   0:25 [ksoftirqd_CPU0]
root         4  0.0  0.0     0    0 ?        SW   Dec16   0:00 [kswapd]
root         5  0.0  0.0     0    0 ?        SW   Dec16   0:00 [bdflush]
root         6  0.0  0.0     0    0 ?        SW   Dec16   0:00 [kupdated]
root         7  0.0  0.0     0    0 ?        SW   Dec16   0:00 [mtdblockd]
root         9  0.0  1.7  1764  532 ?        S    Dec16   0:00 init
root        10  0.0  1.6  1760  524 ?        S    Dec16   0:00 /bin/sh /etc/init
root        13  0.0  0.0     0    0 ?        SWN  Dec16   0:00 [jffs2_gcd_mtd3]
root        23  0.0  1.9  1836  588 ?        S    Dec16   0:00 /sbin/inetd
root        51  0.0  1.6  1768  520 ?        S    Dec16   0:00 udhcpc -n -p /var
root        72  0.0  0.0     0    0 ?        SW   Dec16   0:35 [avia_av_wdt]
root        76  0.0  0.0     0    0 ?        SW   Dec16   0:00 [avia_gt_wdt]
root        97  0.0  1.6  1760  516 ?        S    Dec16   0:00 /bin/sh /var/tuxb
root       101  0.0  9.1 54900 2816 ?        S    Dec16   0:03 /var/bin/sections
root       103  0.0  9.1 54900 2816 ?        S    Dec16   0:00 /var/bin/sections
root       104  0.0  9.1 54900 2816 ?        S    Dec16   0:00 /var/bin/sections
root       105  4.7  9.1 54900 2816 ?        S    Dec16  41:16 /var/bin/sections
root       106  0.0  9.1 54900 2816 ?        S    Dec16   0:00 /var/bin/sections
root       107  0.0  9.1 54900 2816 ?        S    Dec16   0:00 /var/bin/sections
root       108  0.0  9.1 54900 2816 ?        S    Dec16   0:01 /var/bin/sections
root       109  0.0  9.1 54900 2816 ?        S    Dec16   0:03 /var/bin/sections
root       110  0.0  3.6 11244 1124 ?        S    Dec16   0:00 /bin/timerd
root       113  0.0  3.6 11244 1124 ?        S    Dec16   0:00 /bin/timerd
root       114  0.0  3.6 11244 1124 ?        S    Dec16   0:00 /bin/timerd
root       115  0.0  0.0     0    0 ?        SW   Dec16   0:00 [kdvb-fe-0:0]
root       116  0.0  4.4  3292 1364 ?        S    Dec16   0:41 /bin/zapit
root       119  0.0  1.1  1076  368 ?        S    Dec16   0:00 /var/bin/camd2
root       121  0.0  3.6 11416 1136 ?        S    Dec16   0:00 /bin/controld
root       122  0.0  3.6 11416 1136 ?        S    Dec16   0:00 /bin/controld
root       124  0.0  3.6 11416 1136 ?        S    Dec16   0:00 /bin/controld
root       126  0.1 10.7 25648 3324 ?        S    Dec16   1:40 /bin/neutrino -u
root       129  0.0 10.7 25648 3324 ?        S    Dec16   0:00 /bin/neutrino -u
root       130  0.1 10.7 25648 3324 ?        S    Dec16   1:27 /bin/neutrino -u
root       131  0.0 10.7 25648 3324 ?        S    Dec16   0:00 /bin/neutrino -u
root      5726  0.0  6.7  5416 2100 ?        S    02:50   0:00 nhttpd
root      5727  0.0  6.7  5416 2100 ?        S    02:50   0:00 nhttpd
root      5841  0.7  1.3  1768  424 ?        S    08:24   0:32 telnetd
root      5842  0.0  2.1  1844  660 pts/2    S    08:24   0:00 -sh
root      5883  0.0  1.3  1768  420 ?        S    09:19   0:00 telnetd
root      5884  0.0  2.1  1844  660 pts/3    S    09:19   0:00 -sh
root      5991  0.0  2.4  2420  752 pts/3    R    09:33   0:00 ps aux

@Nirvana:

Ich hab jetzt den Prozeß 480 abgeschossen, die sectionsd um 105 laufen noch, aber kein EPG mehr vorhanden. Hab dann letzteren Prozeß ebenfalls beendet. Nach dem Aufruf von desctionsd -d hab ich aber wieder vollen EPG. Jetzt hats beim Beenden mit strg+c auch alle sectionsd -d Prozesse beendet, EPG natürlich nicht mehr vorhanden.

Grundsätzlich ist es ja nicht unbedingt dramatisch, dass beim Ausführen des sectionsd in der Konsole ein neuer Prozeß gestartet wird, der die Aufgabe übernimmt. Im Fall der automatischen Kanalsuche könnte ich mir dieses Verhalten aber problematisch vorstellen.

[petgun]

MAX_EVENTS 7500
EIT Speicher 384
addFilter 6X auskommentiert.

..laeuft jetzt seit 20 Stunden und der Speicherverbrauch von sectionsd ist bis jetzt sehr niedrig geblieben (21%) trotz extreme zapping inkl. Radio...EPG ist fuer mich komplett. Ich waere froh wenn diese Version erst mal Standard im CVS waere.

<edit>
'komplett' heisst fuer die naechsten 2 Tage zB. bei der ARD.
</edit>

[Torsten73]

Hi,
startet doch mal bitte beim Testen zwischendurch den Movieplayer. Und schaut dann auf den Speicher. Der von Sectionsd bleibt unverändert, aber der gesamtspeicher geht auf 700kb bei mir zurück.

Ist das gewollt? Er gibt den auch nicht wieder frei (JTG 10.12.)

habe nicht mehr Zeit...

Cu
Torsten

[petgun]

Er gibt den auch nicht wieder frei (JTG 10.12.)

...doch...dauert nur eine Weile (mehrere Minuten)

[Nirvana]

Also ich habe Probleme nachdem ich tuxtext genutzt habe. Ich glaube der gibt nämlich wirklich einen Speicherhappen nicht wieder her.