Sectionsd abnehmender Speicher -> Reproduzierbar!!!

Das Original Benutzerinterface Neutrino-SD incl. zapit, sectionsd, yWeb etc...
gmo18t
Erleuchteter
Erleuchteter
Beiträge: 553
Registriert: Freitag 27. Februar 2004, 14:30

Beitrag von gmo18t »

petgun hat geschrieben:ja, dieser 'free' Wert ist eine Hausnummer und alleine nicht aussagekraeftig..aber an %MEM laesst sich ein evtl. mem leak gut erkennen.
sectionsd (JtG 18.12) hat imo kein Problem mehr mit Speicherfrass...danke dafuer!!
könntest Du vielleicht die 'sectionsd' u. 'zapit' binaries aus diesem Image irgendwo zum download bereitstellen ?
Will nämlich nicht das jtg installieren und dann bräuchte ich mir kein squashfs-Modul zu bauen usw., um das zu extrahieren ...

- GMo -
KeXXeN
Tuxboxer
Tuxboxer
Beiträge: 2634
Registriert: Samstag 15. November 2003, 09:00

Beitrag von KeXXeN »

mb405 hat geschrieben:naja bei nur astra kann das ja sein. bei meinen 4 sats sieht das da schon anders aus.

ich habe wie gesagt die 1.216 aus dem cvs und da müllt er mich noch zu.
hier im tread wurden ja ein paar versionen angehängt. kann sein das jtg die eingebaut hat. sowas ist aber nicht sinn der sache. wenn es läuft, wie du ja berichtestm, soll es ins cvs.
http://forum.tuxbox-cvs.sourceforge.net ... &start=150

Ist erkennbar das Riker den Diff von Metallica eingebaut hat.
Und der läuft, jedenfalls bei mir, und scheinbar auch bei jmittelst, sehr stabil.

Die Probleme der vorherigen Versionen und tests sind im Moment nihct mehr erkennbar.

@gmo18t
Bitteschön

http://www.kexxen.de/dbox2/zapit.rar
Zu Fragen oder Nebenwirkungen der hier genannten Begriffe benutzen sie bitte die Suchfunktion oder konsultieren sie die [url=https://tuxbox.org/forum/viewforum.php?f=26&] Frequentliy Asked Questions[/quote].
mb405
Tuxboxer
Tuxboxer
Beiträge: 2331
Registriert: Donnerstag 24. März 2005, 21:52

Beitrag von mb405 »

uups ist mir entgangen der 18.12.
thx
mws
Developer
Beiträge: 331
Registriert: Freitag 7. Februar 2003, 22:17

Beitrag von mws »

KeXXeN hat geschrieben:@mws
Weil es wie eine öffentliche Abmahnung rüber kam ;)
es war keine abmahnung, sondern ein revert von quatsch.

eine abmahnung wäre gewesen, wenn man ihm androht den cvs zugang zu entziehen. das ist nicht meine absicht.
ich habe lediglich darauf hingewiesen, das die TRY & ERROR methode nicht immer die richtige ist, sondern man sich komplett mit allen faktoren die bei so einer sache die rolle spielen, auseinander setzen muss. *klarstell*
das äussert sich nun mal in einem satz wie
revert metallicas new/delete fix
Metallica - what should happen in your opinion, if you construct an object
via new within the ctor and at the end of ctor you are deleting it AND
it still points to some memory?
that pig is USED within e.g. the paint_pig function
think about _what_ you are doing instead of fixing things that you do not
understand correctly.
nichts anderes sagt dieser satz aus - der infoviewer wurde konstruiert, ein pig object erzeugt, und das sofort wieder gelöscht!
dadurch ist zwar ein memleak weg, das aber nicht existieren würde, wenn man nachsieht, warum der dtor nicht aufgerufen wird.
solange wie kein anderer prozess mem allokiert, kann das sogar gutgehen. NUR keiner wird sich, wenn es dann mal passiert,
das der infoviewer abstürzt (sigsegv - signal 11) an diesen FALSCHEN fix erinnern.

desweiteren wäre dieser bug sehr schwer zu reproduzieren, weil
man den infoviewer öffnen muss, und auch drauf warten, das genau der speicher den man dort benutzt hat, wieder benutzt wird.

fazit:
hier wären jede menge user am weinen, das sporadisch wenn man epg anzeigen lässt, der dialog nach unterschiedlichen zeiten nicht mehr gemalt wird und neutrino crashed.

wollt ihr lieber bugs, oder nehmt ihr auch mal kritik an, wenn jemand was - vielleicht auch unbewusst - falsch macht?

letzteres spart euch und anderen nerven, denkt mal drüber nach.

gruss
mws

p.s.: bei alexw waren es damals gründe die richtig waren, man kann eine API halt nicht einfach so nach eigenem gedünken abändern. das alexw deswegen
die flinte ins korn wirft, ist eher bei ihm zu suchen, als bei obi oder dem tuxbox project ansich.
jmittelst
Tuxboxer
Tuxboxer
Beiträge: 6044
Registriert: Montag 17. November 2003, 06:48

Beitrag von jmittelst »

So langsam kann ich Homar sehr gut verstehen. Vielleicht sollte hier noch mehr differenziert werden:

1 Thread zu jeder neuen CVS-Version, wo jeder seine Efahrung rein schreiben kann.

1 Thread zu jeder Test Binary, wo jeder seine Erfahrungen rein posten kann.

Von mir aus auch ein Laber-Thread wie dieser. Aber ich komme langsam nicht mehr mit, wer mit welcher Version welche Erfahrungen gemacht hat.

cu
Jens
KeXXeN
Tuxboxer
Tuxboxer
Beiträge: 2634
Registriert: Samstag 15. November 2003, 09:00

Beitrag von KeXXeN »

@mws
Du schießt irgendwie gerade völlig übers ziel hinweg...
Sachlich sicherlich ok.
Aber so wie du es geschrieben hattest, wars für mich als aussenstehender, und das meinten wohl auch die vorredner, einem "vorführen" gleich einer "öffentlichen Abmahnung".
Ich denke diejenigen wussten und wissen was gemeint war, vielleicht mal neutral ohne Namen schreiben und Gras drüber wachsen lassen.
Nicht jeder hat so einen dicken Pelz das er so viel öffene, harte Ehrlichkeit verträgt. ;)

Gruß

kexxen

@Jens
Absolute Zustimmung!
Zu Fragen oder Nebenwirkungen der hier genannten Begriffe benutzen sie bitte die Suchfunktion oder konsultieren sie die [url=https://tuxbox.org/forum/viewforum.php?f=26&] Frequentliy Asked Questions[/quote].
mws
Developer
Beiträge: 331
Registriert: Freitag 7. Februar 2003, 22:17

Beitrag von mws »

KeXXeN hat geschrieben:@mws
Du schießt irgendwie gerade völlig übers ziel hinweg...
Sachlich sicherlich ok.
Aber so wie du es geschrieben hattest, wars für mich als aussenstehender, und das meinten wohl auch die vorredner, einem "vorführen" gleich einer "öffentlichen Abmahnung".
Ich denke diejenigen wussten und wissen was gemeint war, vielleicht mal neutral ohne Namen schreiben und Gras drüber wachsen lassen.
Nicht jeder hat so einen dicken Pelz das er so viel öffene, harte Ehrlichkeit verträgt. ;)

Gruß

kexxen

@Jens
Absolute Zustimmung!
fein, das wir sachlich übereinstimmen.
desweiteren möchte ich klarstellen, das ich mich eigentlich so verhalten habe. ich habe es reverted und gut ist.
als dann der 2. commit kam, habe ich es nach einer erklärung, die ich ihm im irc gab, nocheinmal reverted, weil der 2. commit auch nicht korrekt war.
den namen von ihm _hier_ ins spiel gebracht, habe nicht ich, sondern mash.

sofern es weiteren bedarf zur klarstellung gibt, antworte ich, ansonsten ist dieser teil des threads für mich erledigt. :P

gruss
mws
cu
mws
Torsten73
Erleuchteter
Erleuchteter
Beiträge: 547
Registriert: Mittwoch 30. Juni 2004, 16:06

Beitrag von Torsten73 »

kroki hat geschrieben:Hi all,

Warum reitet ihr immer auf dem Speicher rum. Linux hat dazu eine Dynamische Speicherverwaltung! Beobachtet doch mal was da passiert.
Immer wenn der freie Speicher unter ca. 500KByte sinkt werden die Buffers bzw. Cache verkleinert! Solange kein Speicher angefordert wird, muss doch auch kein Speicher freigegeben werden......
Der Cache wird dynamisch angepasst und buffert Lese-/Schreibzugriffe auf die Filesysteme. Und hier kann sich nur was verändern, wenn auf ein Filesystem zugegriffen wird (dann nimmt der Speicher zu) oder wenn irgendwo Speicher benötigt wird und der Freie Speicher nicht ausreicht (dann nimmt der Cache ab).
Ihr könnt nicht davon ausgehen Programm starten Speicher weg->Programm beenden Speicher wieder so wie vorher (Free-Buffers-Cache)...Da steckt das Wörtchen "Dynamisch" mit drinnen....:wink:

Gruß Kroki
Nun ich muß zugeben, dass die genaue Funktionsweise und Verhältnismäßigkeiten der Cache und Buffers nicht bekannt sind. Es mag sein, dass die wieder freigegeben werden wenn ein Programm mehr Speicher benötigt als vorhanden ist (bei <500k gibt es diese Grenze wirklich?) aber beobachten konnte ich das noch nicht!

Ich weiß nur, dass wenn ich den Movieplayer benutze nach spätestens 12h die DBox abstürzt. Leider sehr schwer nachzuvollziehen. Ich glaube nicht das die Ursache im Moviebrowser unbedingt alleine liegen muß.

Habe zur Zeit auch die 18.12. JTG installiert, mal abwarten...

Cu
Torsten
Torsten73
Erleuchteter
Erleuchteter
Beiträge: 547
Registriert: Mittwoch 30. Juni 2004, 16:06

Beitrag von Torsten73 »

@ Jens:
Ich stimme Dir ebenfalls vollkommen zu.

Ich habe auch schon mehrfach versucht hier darauf hinzuweisen, dass man "meinen" Thread bitte von "nicht Titelbezogenen Problemen" freihalten möge.

Leider wird das ignoriert :( , die Folge -> Monsterthreads wo keiner mehr durchblickt. Deswegen habe ich versucht in meinem 1. Thread jetzt zwischenstände zum Problem anzugeben. Damit man nicht alles lesen muß.

Gibt es eigentlich keine Moderatoren für so etwas hier?

Cu
Torsten
DieMade
Oberlamer, Administrator & Supernanny
Beiträge: 10532
Registriert: Samstag 13. Juli 2002, 10:49

Beitrag von DieMade »

Es gibt Mods. und auch Admins hier, aber bei diesem Thema artet das zu einem Vollzeitjob für eine Nanny aus und hat nichts mehr mit Moderieren zu tun (so sehe ich das jedenfalls und halte mich zurück).
There are 10 types of people in the world: those who know binary and those who don't
petgun
Tuxboxer
Tuxboxer
Beiträge: 5001
Registriert: Montag 11. November 2002, 15:26

Beitrag von petgun »

Torsten73 hat geschrieben:Ich habe auch schon mehrfach versucht hier darauf hinzuweisen, dass man "meinen" Thread bitte von "nicht Titelbezogenen Problemen" freihalten möge. Leider wird das ignoriert :(
und was hat:
Torsten73 hat geschrieben:startet doch mal bitte beim Testen zwischendurch den Movieplayer. Und schaut dann auf den Speicher. Der von Sectionsd bleibt unverändert, aber der gesamtspeicher geht auf 700kb bei mir zurück.
Torsten73 hat geschrieben:Ich weiß nur, dass wenn ich den Movieplayer benutze nach spätestens 12h die DBox abstürzt. Leider sehr schwer nachzuvollziehen. Ich glaube nicht das die Ursache im Moviebrowser unbedingt alleine liegen muß.
mit "Sectionsd abnehmender Speicher -> Reproduzierbar!!!" zu tun? Ich glaube das ist erledigt.

Eine Diskussion ob hier etwas OT ist, ist in Deinem Tread selbst OT.
mb405
Tuxboxer
Tuxboxer
Beiträge: 2331
Registriert: Donnerstag 24. März 2005, 21:52

Beitrag von mb405 »

also bei mir funktioniert nun die version mit dem diff vom 18.12. mit ausgeschalteteten sectionsd scan ganz wunderbar.

Code: Alles auswählen

Mem: 27548K used, 3352K free, 0K shrd, 3236K buff, 10760K cached
Load average: 0.05, 0.25, 0.34    (State: S=sleeping R=running, W=waiting)

  PID USER     STATUS   RSS  PPID %CPU %MEM COMMAND
  311 root     R        684   309  4.5  2.2 top
  308 root     S        392    74  1.1  1.2 telnetd
  278 root     S       4200   135  0.3 13.5 neutrino
  296 root     S       4200   295  0.0 13.5 neutrino
  295 root     S       4200   278  0.0 13.5 neutrino
  307 root     S       4200   295  0.0 13.5 neutrino
  166 root     S       2840     1  0.0  9.1 zapit
  172 root     S       2192   169  0.0  7.0 sectionsd
  174 root     S       2192   169  0.0  7.0 sectionsd
  168 root     S       2192     1  0.0  7.0 sectionsd
  178 root     S       2192   169  0.0  7.0 sectionsd
  170 root     S       2192   169  0.0  7.0 sectionsd
  177 root     S       2192   169  0.0  7.0 sectionsd
  169 root     S       2192   168  0.0  7.0 sectionsd
  176 root     S       2192   169  0.0  7.0 sectionsd
  189 root     S       2036     1  0.0  6.5 nhttpd
  188 root     S       1156   187  0.0  3.7 controld
  184 root     S       1156     1  0.0  3.7 controld
  187 root     S       1156   184  0.0  3.7 controld
  180 root     S       1124     1  0.0  3.6 timerd
  182 root     S       1124   181  0.0  3.6 timerd
  181 root     S       1124   180  0.0  3.6 timerd
  131 root     S        720     1  0.0  2.3 tuxmaild
  145 root     S        720   131  0.0  2.3 tuxmaild
  149 root     S        720   145  0.0  2.3 tuxmaild
  309 root     S        628   308  0.0  2.0 sh
    74 root     S        568     1  0.0  1.8 inetd
maximum %MEM der sectionsd hatte ich 9.4.
auserdem habe ich den hours to cache patch drin, und die zeit auf 16stunden eingestellt.
Innuendo
Einsteiger
Einsteiger
Beiträge: 281
Registriert: Mittwoch 8. Dezember 2004, 21:45

Beitrag von Innuendo »

hoffentlich hat homar kurzfristig viel freizeit übrig - dann erübrigt sich so ein forum ganz schnell und nanny diemade muss nicht vollzeit arbeiten.
(ich hoffe ich habe die arbeiten richtig verteilt)

vlt können schonmal alle bis auf weiteres auf %mem/free/top postings mit ausführlichen erklärungen über cache buffer und deren dynamik verzichten. ich bin mir sicher, mit dem x-ten wert ist die botschaft bei allen angekommen. davon ab interessieren die werte zur 1.215/6 niemanden mehr, sobald der spielstop aufgehoben wird.
Torsten73
Erleuchteter
Erleuchteter
Beiträge: 547
Registriert: Mittwoch 30. Juni 2004, 16:06

Beitrag von Torsten73 »

@ Petgun,
gut das ich Dich und Deine "Bewertungen" lange genug kenne um mich nicht darüber aufzuregen. Ein wenig netter formuliert wäre auch nicht falsch gewesen, warum immer so auf Konfrontation? Aber lassen wir das, Du bist wie Du bist, und ich kann damit leben. :wink:

Sicher hast Du Recht, dass der Movieplayer nicht zu diesem Threadtitel gehört, und ich hatte auch schon überlegt einen neuen diesbezüglich zustarten. Aber dafür war es mir noch zu früh.

Cu
Torsten
petgun
Tuxboxer
Tuxboxer
Beiträge: 5001
Registriert: Montag 11. November 2002, 15:26

Beitrag von petgun »

Torsten73 hat geschrieben:Ein wenig netter formuliert wäre auch nicht falsch gewesen, warum immer so auf Konfrontation?
??..tut mir furchtbar Leid...ich kann selbst bei gutem Willen nicht erkennen wo ich hier etwas 'netter' formulieren sollte bzw. wo ich hier im Thread auf Konfrontation aus bin? OT bin ich ja laut Titel sowieso immer...braucht sich also keiner mehr Gedanken drueber zu machen und versuchen die Artikel individuell zu bewerten...OT=Petgun
Sorry, wenn ich die OT-Kritik in diesem Thread auf mich bezogen habe....ich finde diese Kritik laecherlich...genauso wie die (oft individuell angepassten) Maßstaebe fuer OT...das geht mir am A... vorbei.

--
Ist der Ruf erst ruiniert … quatscht man völlig ungeniert!
mash4077
Tuxboxer
Tuxboxer
Beiträge: 4654
Registriert: Samstag 27. April 2002, 13:19

Beitrag von mash4077 »

@mws und Metallica (dessen Name nicht genannt werden darf...)

Ich bedanke mich ausdrücklich für euer Engagement in der Sache!

Gruß
mash
mws
Developer
Beiträge: 331
Registriert: Freitag 7. Februar 2003, 22:17

Beitrag von mws »

rofl :)
der onkel macht doch nur spass

/me sieht das alles eigentlich recht locker.

es ist und bleibt ein hobby - dafür krieg ich mich nicht mit jemandem in die haare


gruss
mws
cu
mws
Npq
Senior Member
Beiträge: 1339
Registriert: Donnerstag 24. April 2003, 12:12

Beitrag von Npq »

Günther hat geschrieben:Es würde nämlich schon helfen , wenn nach close() der Cache freigegeben wird. Ich hatte gehofft, mit der nocto (no close-to-open) Mount-Option genau das zu erreichen , aber irgendwie muss ich wohl weitersuchen. Vielleicht weiss aber jemand wie der Cache freigegeben werden kann (oder kennt jemand der es weiss?).
Das dürfte der Inode/Dentry-Cache sein und unabhängig von der geöffneten Datei.

Es reicht aus, ein paar Verzeichnisse zu durchforsten, damit der Cache sich vergrößert.

Du kannst ja mal anschauen, wie groß die Werte in /proc/sys/fs/dentry-state werden.

Ein Freigeben vom Userspace aus ist meine ich nicht vorgesehen (außer umount zu benutzen). Normalerweise sollte der Speicher aber unter low-memory-Bedingungen wieder freigegeben werden, das ist korrekt.
Metallica
Einsteiger
Einsteiger
Beiträge: 191
Registriert: Dienstag 30. Dezember 2003, 01:49

Beitrag von Metallica »

Nirvana hat geschrieben:@all
Meine Meinung zu der aktuellen Version: Ich finde Table 60 sollte wieder ausgewertet werden. Sonst fehlen mir immer einige Einträge.
So ist es und sectionsd (+letzte diff) mit 0x60 läuft jetzt genauso gu wie ohne.
Innuendo
Einsteiger
Einsteiger
Beiträge: 281
Registriert: Mittwoch 8. Dezember 2004, 21:45

Beitrag von Innuendo »

Metallica hat geschrieben:So ist es und sectionsd (+letzte diff) mit 0x60 läuft jetzt genauso gu wie ohne.
*zustimm*
Metallica
Einsteiger
Einsteiger
Beiträge: 191
Registriert: Dienstag 30. Dezember 2003, 01:49

Beitrag von Metallica »

... und so stabil wie jetzt (auto scan auf aus) war sectionsd noch nie.
Danke an Homer/Nirvana.
JtG-Riker
Image-Team
Beiträge: 1015
Registriert: Freitag 7. Februar 2003, 18:37

Beitrag von JtG-Riker »

Metallica hat geschrieben:... und so stabil wie jetzt (auto scan auf aus) war sectionsd noch nie.
Danke an Homer/Nirvana.
Welche Diffs hast du denn bei dir drin Metallica ? Ich hab nur eins von nirvana drin im Moment und das rockt auch super bis jetzt.

Blick nicht mehr so ganz durch bei den vielen Threads...

Riker
Metallica
Einsteiger
Einsteiger
Beiträge: 191
Registriert: Dienstag 30. Dezember 2003, 01:49

Beitrag von Metallica »

Ich glaube wir haben schon die gleiche diffs.
Ich habe nur filter 0x60 an und "static long secondsToCache = 7*24*60L*60L;" + "static long oldEventsAre = 20*60L;" .
Aber das ist nicht so wichtig.

ps. Ich habe gestern fast alle (ca 2000) tv sender durchgezapt , was mir noch nie vorher gelungen ist.
JtG-Riker
Image-Team
Beiträge: 1015
Registriert: Freitag 7. Februar 2003, 18:37

Beitrag von JtG-Riker »

Metallica hat geschrieben:Ich glaube wir haben schon die gleiche diffs.
Ich habe nur filter 0x60 an und "static long secondsToCache = 7*24*60L*60L;" + "static long oldEventsAre = 20*60L;" .
Aber das ist nicht so wichtig.

ps. Ich habe gestern fast alle (ca 2000) tv sender durchgezapt , was mir noch nie vorher gelungen ist.
Jo, den 0x60 muss man nur wieder das // wegmachen nehm ich an, ansonsten ist es der den ich auch habe, auch das der Speicherverbrauch um 50% gesunken ist ist cool :)

Riker
Metallica
Einsteiger
Einsteiger
Beiträge: 191
Registriert: Dienstag 30. Dezember 2003, 01:49

Beitrag von Metallica »

jo,Super arbeit von Homer/Nirvana