Sectionsd abnehmender Speicher -> Reproduzierbar!!!

Das Original Benutzerinterface Neutrino-SD incl. zapit, sectionsd, yWeb etc...
mb405
Tuxboxer
Tuxboxer
Beiträge: 2331
Registriert: Donnerstag 24. März 2005, 21:52

Beitrag von mb405 »

also irgendwie ko**t mich das gemoser hier an. die 2 werden das schon in die reihe bringen. kommt zeit, kommt sectionsd :)
ein kleiner diff zum testen hat noch nie geschadet. man mus ja nicht gleich alles nach 2 tagen einchecken. die breite masse (wie ich) benutzen entweder yadi(eigenbau) oder jtg und können ein diff ohne weiteres einbauen. mogway macht da bei yadi eine spitzen arbeit in der hinsicht.
petgun
Tuxboxer
Tuxboxer
Beiträge: 5001
Registriert: Montag 11. November 2002, 15:26

Beitrag von petgun »

zexma hat geschrieben:Und ich fänds besser, wenn hier die ENTWICKLER eine fachbezogene(!) Diskussion führen dürften, ohne das gewisse Leute ständig durch OT-Geposte und nicht reproduzierbare Beobachtungen die threads ständig auf >= 8 Seiten ziehen und somit unleserlich, unübersichbar werden und in keiner weise der Problembehebung dienlich sind.
..einverstanden! Das ist hier aber nach meinem Verstaendniss ein User-Thread im User-Bereich und die Auswirkungen betreffen alle User und Off Topic ist hier imo fast nix. Oeffentliches Dev-Bashing auch untereinander finde ich scheisse! Wenn sich hier Entwickler oder solche die sich zu diesem Status berufen fuehlen zu Wort melden und ueber die Code-Qualitaet lamentieren kannst Du nicht erwarten, dass _User_ sich generell da raushalten da sie die Auswirkunken direkt betreffen. Ausserdem braucht es keinen Entwicklerstatus um zu erkennen was hier alles schief gelaufen ist.
Den _notwendigen_ Feedback bekommen die Entwickler nun mal nur von den Usern...und wenn Du einzelne Beobachtungen nicht nachvollziehen kannst/fuer nicht reproduzierbar haelts, kannst Du das ja hier diskutieren. Ich halte meine Beobachtungen nicht fuer Schnellschuesse und sie sind auch reproduzierbar..zumindest auf meiner Box.
mws
Developer
Beiträge: 331
Registriert: Freitag 7. Februar 2003, 22:17

Beitrag von mws »

da ich dazu keine zeit / lust habe,
hab ich es metallica erklärt.
denke er hat es verstanden und wird es lösen.
es könnte auch sein, das es schon gelöst ist, habe mir das noch nicht wieder näher angesehen.

ausserdem sollen ja ein paar mehr entwickler etwas machen.
das geht nur in dem sie es versuchen und auch hinweise bekommen.
wenn wir trotzdem alles machen, brauchen sie sich ja nicht mit der materie beschäftigen.
community ( wenn man das hier so nennen kann ) kommt durch viele leute zustande, nicht durch einzelne.

gruss
mws
cu
mws
Nirvana
Erleuchteter
Erleuchteter
Beiträge: 646
Registriert: Mittwoch 16. April 2003, 14:12

Beitrag von Nirvana »

Nein Homar,

KEINER sollte der Buhmann sein - insbesondere nicht jemand, der seine Freizeit für ein "gemeinnütziges" Projekt opfert.

Ich fasse nur mal zusammen: Der sectionsd hat schon immer gesuckt, nur die Suckerei tritt durch mehr Prozesse deutlicher zu Tage. Danke. Mehr wollte ich ja gar nicht hören.
Gaucho316
Contributor
Beiträge: 1688
Registriert: Donnerstag 17. Februar 2005, 20:24

Beitrag von Gaucho316 »

@Torsten73:
Torsten73 hat geschrieben:Wir haben gestern abend zum Beispiel den Movieplayer benutzt. vorher waren 8MB frei, bis heute morgen hat sich der Freemem nicht erholt, er liegt weiterhin bei 700KB.
Das hatte ich auch mal. Nachdem ich dann die gemounteten Verzeichnisse "ungemounted" (blödes Wort) hatte, war der Speicher wieder frei.
Homar
Senior Member
Beiträge: 1278
Registriert: Mittwoch 5. September 2001, 00:00

Beitrag von Homar »

Nirvana: Lass uns mal einen Döner essen gehen :)

P.S.: Tee gibbet auch dazu
mb405
Tuxboxer
Tuxboxer
Beiträge: 2331
Registriert: Donnerstag 24. März 2005, 21:52

Beitrag von mb405 »

@Gaucho316
das mit den freien speicher kannste auch anders machen.
lese einfach dein image aus, dann löchste das mtd*.img in /tmp wieder, und hast so ca. 5mb freien speicher. das hat aber nix mit sectionsd zu tun, sondern mit der speicherfragemtierung von neutrino.
Nirvana
Erleuchteter
Erleuchteter
Beiträge: 646
Registriert: Mittwoch 16. April 2003, 14:12

Beitrag von Nirvana »

Homar hat geschrieben:Nirvana: Lass uns mal einen Döner essen gehen :)

P.S.: Tee gibbet auch dazu
Cool. Das klingt doch mal adventlich!

P.S. Erwähnte ich schon, dass die automatische Sendersuche wie sie im Moment ist, scheiße ist? Das Parsen der xml-Dateien dauert einfach zu lange. Wenn irgendwer in dieser Zeit was vom sectionsd will, dauert es einfach zu lange.

Das muss ich noch dahingehend ändern, dass alles bis zum Runterfahren im Speicher abläuft. Aber das mach ich erst, wenn deine Version als Basis da ist.
Gaucho316
Contributor
Beiträge: 1688
Registriert: Donnerstag 17. Februar 2005, 20:24

Beitrag von Gaucho316 »

@mb405:
Das weiß ich auch. Aber was hat das jetzt mit dem zu tun, was ich festgestellt habe? Bei mir hing das wohl eher mit dem Mounten zusammen. Ich habe vor kurzem (ich glaube sogar hier im Forum) gelesen, dass sich NFS fast den kompletten verfügbaren Speicher zum Cachen schnappt. Der wurde dann wohl nicht wieder richtig freigegeben. Das ganze sollte ja auch nur ein Hinweis gewesen sein, woran es gelegen haben könnte.
Innuendo
Einsteiger
Einsteiger
Beiträge: 281
Registriert: Mittwoch 8. Dezember 2004, 21:45

Beitrag von Innuendo »

@homar
ob buhmann oder nicht ist doch egal - am end stört dann den 50 tausend wildfremden forenbesucher auch deine knofifahne nicht. endlich scheint eine lösung greifbar zu sein - prima!

innu
Metallica
Einsteiger
Einsteiger
Beiträge: 191
Registriert: Dienstag 30. Dezember 2003, 01:49

Beitrag von Metallica »

Noch etwas ist mir aufgefallen:
Die EPG Infos kommen nicht mehr so schnell in die Infobar wie es noch vor einigen Wochen war.
Ich habe es gefix .
Innuendo
Einsteiger
Einsteiger
Beiträge: 281
Registriert: Mittwoch 8. Dezember 2004, 21:45

Beitrag von Innuendo »

mws hat geschrieben:Metallicas änderungen wurden 2 mal von mir reverted, weil sie in dem fall am problem vorbei gegangen sind. und GENAU DAS ist das problem.

ich will keinem zunahetreten, aber OHNE sich mal nen bischen mit der materie zu beschäftigen, _was_ da wirklich abgeht wird es eher schlimmer als besser. durch rumprobieren und "hallo, ich weiss zwar nicht wieso, aber das memleak ist weg" wird es nicht gelöst.

ich habe das mit metallica im irc diskutiert. er hat es danach verstanden, und auch gesagt, das er nach einer wirklichen lösung suchen will bzw. diese dann eincheckt.

das was reverted wurde, war zwar ein fix für ein memleak, aber es war nicht der Grund der es auslöst, sondern nur die folge eines anderen Problems.

gruss
mws
sorry mws, aber ich finde sowas gehört nicht hierher. gut zu wissen, dass ihr devs euch unterhaltet - schaut für den außenstehenden in letzter zeit anders aus - solche diskussionen sollten auch unter euch bleiben ... und wenn, dann schon gar nicht namentlich hier jemanden abstrafen!

innu
Torsten73
Erleuchteter
Erleuchteter
Beiträge: 547
Registriert: Mittwoch 30. Juni 2004, 16:06

Beitrag von Torsten73 »

@Metallica:
Thx, dann bin ich auf die nächste Sectionsd mal gespannt!

@all:
Die Schwiegermutterbox ist nach nicht mal einem Tag wieder abgesemmelt. Ob es an dem vorher verwendeten MB lag und dem daraus resultierenden geringen freien Restspeicher werde ich mal genauer beobachten, ist aber sehr wahrscheinlich.

Die 2. Box läuft seit 1T9H einwandfrei. Dort habe ich aber keinen MB oder irgendwas anderes gestartet (na gut Telnet und Top laufen die ganze Zeit mit), aber der Speicherbedarf ist immer noch tendenziell leicht steigend.Bei weitem aber nicht mehr wie mit der "Ur" 2.215.

Freemem: 7588k, 2452k buffers, 7848 cached
Neutrino: 4368k 11,5%
Sectionsd 5880k 19%

Dann habe ich noch eine Nokia Avia 600 (Orginal JTG 4.12.) am Laufen. Seit 7 Tagen, aber die steht nur auf Premiere1 und Radio MCE. Die macht nichts anderes als permanent Radio Recording mit MCE DAR und zwischenduch mal auf Premiere was aufzeichenen. Heißt die sectionsd hat nur das Premiere / Pro 7 Bouqet gecached.
Da sehen allerdings die Werte ganz anders aus:

Freemam: 720k, 522k buffers, 10752k cached
Neutrino 4528k 12%
Sectionsd 4896k 15,8%

Der Sectionsd läuft also mit Sicherheit besser, aber die nächste große Schwachstelle ist der MB/MP. Das man erst unmountet um den Speicher zu leeren ist bestimmt nicht im Sinne des Erfinders.
Auch wenn der MB die gescannten Datenim Speicher behält, sollte der MP wenigsten die Cache und Bufferwerte wieder auf vor dem Startenstand freigeben.
Das wird dann vielleicht endlich mal die gewünschte Stabilität bringen.

Denn die Box mit MB Nutzung stürzt deswegen wahrscheinlich weiterhin vorzeitig ab, die Box ohne MBnutzung hält bisher tapfer durch.

Cu
Tosten
Metallica
Einsteiger
Einsteiger
Beiträge: 191
Registriert: Dienstag 30. Dezember 2003, 01:49

Beitrag von Metallica »

Torsten73 hat geschrieben:@Metallica:
Thx, dann bin ich auf die nächste Sectionsd mal gespannt!
nix Sectionsd nur infoviewer ;) bzw neutrino
Torsten73
Erleuchteter
Erleuchteter
Beiträge: 547
Registriert: Mittwoch 30. Juni 2004, 16:06

Beitrag von Torsten73 »

Yepp, habe ich gerade im CVS auch gesehen... :oops:
Verstanden habe ich aber leider nicht warum die zuweisungen auf Null das Problem löst. Ist aber für einen "Laien" wahrscheinlich normal. (*OT*)

Cu
Torsten
Günther
Developer
Beiträge: 587
Registriert: Freitag 9. September 2005, 21:48

Beitrag von Günther »

Torsten73 hat geschrieben: Das man erst unmountet um den Speicher zu leeren ist bestimmt nicht im Sinne des Erfinders.
Nicht der MP recerviert sich den Speicher, sondern der kernel (nfs Treiber). Manchmal wird der Speicher nach einer gewissen Zeit wieder sichtbar freigegeben. Manchmal nicht (weiss auch nicht warum, im Internet ist leider nicht soviel darüber zu finden). Ich meine aber, das der kernel diesen Cache jederzeit verkleinern kann, wenn z.B. ein Programm Speicher anfordert. D.h der Speicher ist nicht wirklich verbraucht und steht anderen Programmen auf Anfrage zur Verfügung (nur sieht man es halt nicht unter 'free')

Eigentlich brauchen wir den cache so dauerhaft nicht. Es würde nämlich schon helfen , wenn nach close() der Cache freigegeben wird. Ich hatte gehofft, mit der nocto (no close-to-open) Mount-Option genau das zu erreichen , aber irgendwie muss ich wohl weitersuchen. Vielleicht weiss aber jemand wie der Cache freigegeben werden kann (oder kennt jemand der es weiss?).

Wenn ihr einen MB ohne dauerhaften Speicherverbrauch braucht, könntet ihr die folgende Anweisung im MP auf true ändern:

Code: Alles auswählen

movieplayer.cpp:
#ifdef MOVIEBROWSER  			
static bool isMovieBrowser = false;
static bool movieBrowserDelOnExit = false;   //<<<----- true, damit der MP den MB Speicher nach beenden freigibt
#endif /* MOVIEBROWSER */
Allerdings wird dann bei jedem MB starten einen rescan durchgeführt..

Gruß
Günther
mws
Developer
Beiträge: 331
Registriert: Freitag 7. Februar 2003, 22:17

Beitrag von mws »

Innuendo hat geschrieben:
mws hat geschrieben:Metallicas änderungen wurden 2 mal von mir reverted, weil sie in dem fall am problem vorbei gegangen sind. und GENAU DAS ist das problem.

ich will keinem zunahetreten, aber OHNE sich mal nen bischen mit der materie zu beschäftigen, _was_ da wirklich abgeht wird es eher schlimmer als besser. durch rumprobieren und "hallo, ich weiss zwar nicht wieso, aber das memleak ist weg" wird es nicht gelöst.

ich habe das mit metallica im irc diskutiert. er hat es danach verstanden, und auch gesagt, das er nach einer wirklichen lösung suchen will bzw. diese dann eincheckt.

das was reverted wurde, war zwar ein fix für ein memleak, aber es war nicht der Grund der es auslöst, sondern nur die folge eines anderen Problems.

gruss
mws
sorry mws, aber ich finde sowas gehört nicht hierher. gut zu wissen, dass ihr devs euch unterhaltet - schaut für den außenstehenden in letzter zeit anders aus - solche diskussionen sollten auch unter euch bleiben ... und wenn, dann schon gar nicht namentlich hier jemanden abstrafen!

innu
wieso abstrafen?
versteh ich nicht.

gruss
mws
cu
mws
KeXXeN
Tuxboxer
Tuxboxer
Beiträge: 2634
Registriert: Samstag 15. November 2003, 09:00

Beitrag von KeXXeN »

@mws
Weil es wie eine öffentliche Abmahnung rüber kam ;)
Zu Fragen oder Nebenwirkungen der hier genannten Begriffe benutzen sie bitte die Suchfunktion oder konsultieren sie die [url=https://tuxbox.org/forum/viewforum.php?f=26&] Frequentliy Asked Questions[/quote].
kroki
Einsteiger
Einsteiger
Beiträge: 166
Registriert: Dienstag 22. Juni 2004, 22:12

Beitrag von kroki »

Hi all,

Warum reitet ihr immer auf dem Speicher rum. Linux hat dazu eine Dynamische Speicherverwaltung! Beobachtet doch mal was da passiert.
Immer wenn der freie Speicher unter ca. 500KByte sinkt werden die Buffers bzw. Cache verkleinert! Solange kein Speicher angefordert wird, muss doch auch kein Speicher freigegeben werden......
Der Cache wird dynamisch angepasst und buffert Lese-/Schreibzugriffe auf die Filesysteme. Und hier kann sich nur was verändern, wenn auf ein Filesystem zugegriffen wird (dann nimmt der Speicher zu) oder wenn irgendwo Speicher benötigt wird und der Freie Speicher nicht ausreicht (dann nimmt der Cache ab).
Ihr könnt nicht davon ausgehen Programm starten Speicher weg->Programm beenden Speicher wieder so wie vorher (Free-Buffers-Cache)...Da steckt das Wörtchen "Dynamisch" mit drinnen....:wink:

Gruß Kroki
petgun
Tuxboxer
Tuxboxer
Beiträge: 5001
Registriert: Montag 11. November 2002, 15:26

Beitrag von petgun »

ja, dieser 'free' Wert ist eine Hausnummer und alleine nicht aussagekraeftig..aber an %MEM laesst sich ein evtl. mem leak gut erkennen.
sectionsd (JtG 18.12) hat imo kein Problem mehr mit Speicherfrass...danke dafuer!!
mb405
Tuxboxer
Tuxboxer
Beiträge: 2331
Registriert: Donnerstag 24. März 2005, 21:52

Beitrag von mb405 »

sectionsd jtg 18.12. ?
hab ich da was verpasst, oder ist der sectionsd jetzt none public :(
früher gabs da mal ein diff :(
jmittelst
Tuxboxer
Tuxboxer
Beiträge: 6044
Registriert: Montag 17. November 2003, 06:48

Beitrag von jmittelst »

Sectionsd meldet sich im aktuellen JtG Snapshot so:
$Id: sectionsd.cpp,v 1.216 2005/12/18 07:49:16 metallica Exp $
caching 504 hours
events are old 180min after their end time

Ich denke, das war es, was Peter meinte.

cu
Jens
mb405
Tuxboxer
Tuxboxer
Beiträge: 2331
Registriert: Donnerstag 24. März 2005, 21:52

Beitrag von mb405 »

ist ja die aktuelle cvs version, nur schreibt die mir immer noch den speicher zu.
zur zeit 41 %MEM und 1042K free
petgun
Tuxboxer
Tuxboxer
Beiträge: 5001
Registriert: Montag 11. November 2002, 15:26

Beitrag von petgun »

mb405 hat geschrieben: zur zeit 41 %MEM
..bei mir nach 11 Stunden 18,2% und ich bin ziemlich sicher, dass sich daran so gut wie nix mehr aendert. Ich habe 'nur' astra und diesen autoscan auf aus.
mb405
Tuxboxer
Tuxboxer
Beiträge: 2331
Registriert: Donnerstag 24. März 2005, 21:52

Beitrag von mb405 »

naja bei nur astra kann das ja sein. bei meinen 4 sats sieht das da schon anders aus.
ich habe wie gesagt die 1.216 aus dem cvs und da müllt er mich noch zu.
hier im tread wurden ja ein paar versionen angehängt. kann sein das jtg die eingebaut hat. sowas ist aber nicht sinn der sache. wenn es läuft, wie du ja berichtestm, soll es ins cvs.