Seltsames Problem beim aufnehmen per nfs

[tim3rid3r]

Hallo,


wenn ich einen film per nfs aufnehm, hab ich oft (aber nicht immer) folgendes seltsame problem:

die letzten paar minuten werden nicht aufgenommen, statt dessen hab ich dann mehrere seltsame dateien auf meinem server, mit namen wie zb. das hier:
celebrimbor:/export/public/stream/nfs # ls
.
..
PREMIERE_1_Bad_Boys_II_(Bad_Boys_2)_20050511_015001.001.ts
PREMIERE_1_Bad_Boys_II_(Bad_Boys_2)_20050511_015001.002.ts
PREMIERE_1_Bad_Boys_II_(Bad_Boys_2)_20050511_015001.003.ts
PREMIERE_1_Bad_Boys_II_(Bad_Boys_2)_20050511_015001.xml
PREMIERE_1_Bad_Boys_II_(Bad_Boys_2)_20050511_041047.001.0
PREMIERE_1_Bad_Boys_II_(Bad_Boys_2)_20050511_041047.001.1
PREMIERE_1_Bad_Boys_II_(Bad_Boys_2)_20050511_041047.001.2
PREMIERE_1_Bad_Boys_II_(Bad_Boys_2)_20050511_041047.001.3
PREMIERE_1_Bad_Boys_II_(Bad_Boys_2)_20050511_041047.xml


Auf der Box (sagem 1x) ist das aktuelle 2.1.0.2 image drauf, also 2.1.0.0 mit den beiden updates. der server ist ne suse 8.0 mit kernel nfsd. das Filesystem ist exportiert mit der option async und gemountet auf der box mit soft,rw,udp,rsize=32768,wsize=32768. mit rsize=wsize=8192 ist das problem genauso da....


Irgendwelche Vorschläge?


bye,
[L]

[mogway]

Da wird die Datenrate z.B. beim Abspann erhöht, was bei dir zum Streamabbruch führt. Dir bleibt nur die Performance zum NFS Server zu optimieren.

Such mal im Forum danach, es gibt einige Threads dazu.

Gruß
mogway

[tim3rid3r]

Da wird die Datenrate z.B. beim Abspann erhöht, was bei dir zum Streamabbruch führt. Dir bleibt nur die Performance zum NFS Server zu optimieren.

hm. wenn ich z.b. mit bonnie von einem anderen rechner im netz aus die transferrate von und zum server teste komm ich auf 8-9 megabyte beim lesen und schreiben...
hier mal ein bonnie++ lauf auf genau dem verzeichnis in das auch die dbox schreiben will, nur halt von einem andern rechner aus der mit 100mbit am netz hängt:

Code: Alles auswählen

Version 1.01d       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
gildor        1000M 10105   7  8877   1  3974  35  9502   7  9978   1 167.3   0
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16   573   3   524  86   629   3   550   3  2077   4   628   3

und hier der traffic vom netz:


die grünen balken da von 2:00 bis kurz nach 4:00 und von gestern 12:30 bis 14:30 sind aufnahmen von der box, der peak von gestern sind 2 parallele bonnie läufe von 2 verschiedenen rechnern, und der peak von 14:00 heute ist der bonnie lauf der da oben angegeben ist.

Ich glaub es wär ganz gut wenn ich mal ein static binary für ppc vom bonnie++ hätt, dann könnt ich das auf der box machen und sehn wieviel _die_ schreiben kann... Kann mir das mal wer für die box übersetzen (oder mir ne anleitung geben wie ich das unter linux aufm pc selber mach)?
bonnie++ gibts hier: http://www.coker.com.au/bonnie++/


bye,
[L]

[tim3rid3r]

so, ich hab jetzt mal 323 MB von der box mit dd auf den server geschrieben und mit "time" gemessen:

Code: Alles auswählen

/var # time dd if=/dev/zero of=/mnt/filme/test bs=32768 count=10000
10000+0 records in
10000+0 records out
real    5m 23.05s
user    0m 0.37s
sys     0m 43.88s

das macht nach adam riese dann 0.9 MB pro sekunde. Das ist zwar nicht ganz das theoretische maximum eines 10mbit netzes, aber knapp dran, und definitiv mehr als die grob 500kbyte/sekunde die während einer aufnahme übers netz laufen... laut den technischen infos hat ein stream von zb. premiere 1 1875000 bits/sekunde, also 229kbyte/sek. dann noch die audios dazu... sollte also reichen. Was geht da schief?

bye,
[L]

grade seh ich dass während einer timer aufnahme die last auf der box auf 1.5 bis 2.0 steigt, trotz 50% idle...

[tim3rid3r]

Da wird die Datenrate z.B. beim Abspann erhöht, was bei dir zum Streamabbruch führt. Dir bleibt nur die Performance zum NFS Server zu optimieren.

das tritt übrigens nicht bei jeder aufnahme auf, und vom sender abhängig scheints auch nich zu sein... aber es führt auf jeden fall zum beenden der aufnahme (ohne jeden kommentar von der box). Ist übrigens auch nicht zwingend am ende des films...

bye,
[L]

[tim3rid3r]

So, ich hab mir jetzt mal nen bonnie für die box gebaut, hier ein ergebnis eines bonnie laufs auf das verzeichnis wo meine box auch die .ts dateien hinschreiben soll...

Code: Alles auswählen

              -------Sequential Output-------- ---Sequential Input-- --Random--
              -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --Seeks---
Machine    MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU  /sec %CPU
           64   457 97.1   984 13.0   412  8.8   393 81.8   759  9.7  40.5 10.8

sprich, bei blockorientiertem Schreiben 980KByte pro sekunde. Das ist auch so ziemlich das realistische Maximum eines 10mbit netzes.
Und bei einer Aufnahme eben ging die mit ksysguardd gemessene Übertragungsrate nie über 800kbyte/sekunde und da hab ich noch andern kram im netz getrieben...
Woran liegts also?

bye,
[L]

[Spooky]

Mal abgesehen davon, dass das Verhalten bei solchen Benchmarks und das Verhalten beim Abspielen per Movieplayer zwei verschiedene Paar Schuhe sind, solltest Du eher mal kontrollieren ob da nicht "SPTS Modus = ein" Besserung bringt.

Was setzt Du denn für ein Image ein und hast Du mal die "Ringbuffer" in den Einstellungen der dbox erhöht?

Und je nachdem wohin Du auf der Box mountest,solltest Du mal checken ob die Box auch wirklich mit 32768 gemountet hat!

Per Telnet auf der dbox einloggen und folgendes eingeben:

Code: Alles auswählen

grep | mount /mnt/filme

Spooky

PS: Wie groß sind die einzelnen Dateien , nachdem er die Aufnahme unterbricht, nicht zufällig 2GB, oder ?

[petgun]

@tim3rid3r
kannst Du mal bitte die auf der DBox ausfuehrbare bonnie Datei zum download bereitstellen?

[tim3rid3r]

@Spooky: es geht ja gar nicht ums abspieln. Es geht ums aufnehmen.
ok, die ringbuffer stehn jetzt auf 99, mal sehn obs was bringt.

und in der config ist zwar 32768 für rsize und wsize eingestellt, aber der mountet nur mit 8192?? wtf? auch wenn ich von hand mounte ignoriert er den wert den ich bei den options für rsize und wsize angeb?


und das bonnie binary liegt hier: http://eregion.ddts.net/~lemmy/bonnie.p ... ic.tar.bz2

[petgun]

und das bonnie binary liegt hier: http://eregion.ddts.net/~lemmy/bonnie.p ... ic.tar.bz2

Vielen Dank! Wirklich ein sehr brauchbares Programm....hier meine Werte DBox >><< WL-HDD

Code: Alles auswählen

              -------Sequential Output-------- ---Sequential Input-- --Random--
              -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --Seeks---
Machine    MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU  /sec %CPU
           60   502 96.8  1120 16.8   457  9.3   481 95.6  1010 10.2  38.0  9.2

..da gibt's dann wohl doch noch was zu optimieren fuer Dich. rsize/wsize von 8192 auf 32768 macht imo mehr als 10% aus...Du musst dafuer imo den NFS-Server anpassen (Buffer Groesse) und neu kompilieren.

Nochmals danke,
peter

@WL-HDD Kritiker
schaut Euch die Werte an und macht mal Messungen mit bonnie...ich bin gespannt welches System diese _unverfaelschten_ Werte schlagen kann...aber bitte 60 MB waehlen und nicht 10 MB...;-)

Code: Alles auswählen

              -------Sequential Output-------- ---Sequential Input-- --Random--
              -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --Seeks---
Machine    MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU  /sec %CPU
           10   506 97.5  1123 16.2  1124 21.0   577 98.9 24633 98.6 564.8 72.7

[Unchained]

SPTS Mode in Neutrino aktiviert?

[tim3rid3r]

..da gibt's dann wohl doch noch was zu optimieren fuer Dich. rsize/wsize von 8192 auf 32768 macht imo mehr als 10% aus...Du musst dafuer imo den NFS-Server anpassen (Buffer Groesse) und neu kompilieren.

nicht den client? meine anderen rechner im netz mounten die gleichen freigaben mit rsize=wsize=32768 ohne probleme. Ich denk also mal ich muss den client der auf der box läuft anpassen... sprich, ein eigenes image erzeugen :/
Wie mach ich das? wenn ich das cdk verwende wie in der doku auf dem wiki beschrieben, laufen dynamische binaries nicht auf der box da die yadi images wohl ne andere libc verwenden...

bye,
[L]

[tim3rid3r]

SPTS Mode in Neutrino aktiviert?

sehen die dateien im anfangsposting so aus als wärs nicht aktiviert?

wenn ich den SPTS treiber generell aktivier, also nicht nur während der aufnahme, hab ich auf manchen Kanälen nach ca. 3 Sekunden keinen Ton mehr...


bye,
[L]

[petgun]

nicht den client? meine anderen rechner im netz mounten die gleichen freigaben mit rsize=wsize=32768 ohne probleme.

...bis jetzt lag das bei mir _immer_ am verwendeten NFS-Server...die Linux-Experten koennen Dir die Stelle in den NFS-Server V3 Sourcen sicher verraten...ich kann's leider nicht...

This seems to be a limitation of the current kernel/daemon:

Code:

/*
* Maximum blocksize supported by daemon currently at 8K
*/
#define NFSSVC_MAXBLKSIZE 8192


yes, set it to 32768, it normally won't cause any prob

..nachdem Oleg (Autor der WL-HDD Firmware) das geaendert hat, wurde mit dem gleichen DBox-Image rsize/wsize=32768 akzeptiert.

viel Erfolg,
peter

[tim3rid3r]

nicht den client? meine anderen rechner im netz mounten die gleichen freigaben mit rsize=wsize=32768 ohne probleme.

...bis jetzt lag das bei mir _immer_ am verwendeten NFS-Server...die Linux-Experten koennen Dir die Stelle in den NFS-Server V3 Sourcen sicher verraten...ich kann's leider nicht.

viel Erfolg,
peter

hier mal die ausgabe des mount befehls auf meinem laptop:

Code: Alles auswählen

celebrimbor:/export/public on /eregion/public type nfs (rw,soft,rsize=32768,wsize=32768,addr=192.168.238.1)

und hier die auf der box:

Code: Alles auswählen

192.168.238.1:/export/public/stream/nfs on /mnt/filme type nfs (rw,noatime,v3,rsize=8192,wsize=8192,soft,udp,nolock,addr=192.168.238.1)

da möcht ich doch meinen dass es eher am client auf der box liegt als an meinem server, oder?

bye,
[L]

[zexma]

rsize=32768,wsize=32768 und tcp klappt
bei udp mountet die dbox nur mit rsize=32768,wsize=8192

[Spooky]

@tim3rid3r

Die Endungen .0 ; .1 ; .2 sind nicht gerade ein Zeichen dafür, dass der SPTS Modus aktiv ist während der Aufnahme. Es gabe schon einige andere hier im Forum, bei denen die Automatik nicht so ganz hinzuhauen scheint.

Bist Du sicher, dass die anderen Clienten wirklich mit 32768 gemountet haben. In 90% der Fälle hier im Forum , lag es eindeutig am NFS Server , der diese Parameter nicht unterstützt hat und deshalb beim Mounten von der dbox aus auf seine Defaults von 8192 zurückgefallen ist. Wenn Du das ändern willst mußt das NFS Server Kernel Modul ändern und neu compilieren, sonst wird das nichts. Außer dem NFS Server als Kernel Modul ist mir derzeit keine andere NFS Lösung für Linux bekannt, welche überhaupt in der Lage ist mit rsize/wsize >8192 umzugehen.

Spooky

[petgun]

...da möcht ich doch meinen dass es eher am client auf der box liegt als an meinem server, oder?

..ich bin nicht der Linuxexperte...habe die Stelle aber wiedergefunden...siehe einen Beitrag vorher.

Auf meiner DBox sieht mount so aus:

Code: Alles auswählen

192.168.0.220:/tmp/harddisk/Movies on /mnt/filme type nfs (rw,noatime,v3,rsize=32768,wsize=32768,hard,udp,nolock,addr=192.168.0.220)

..und wiegesagt habe ich am Image nix geaendert...neue Firmware mit der Aenderung von Oleg und es hat funktioniert...mit einem Performance Boost.

cu,
peter

[petgun]

rsize=32768,wsize=32768 und tcp klappt
bei udp mountet die dbox nur mit rsize=32768,wsize=8192

bei mir nicht..siehe oben.

[zexma]

rsize=32768,wsize=32768 und tcp klappt
bei udp mountet die dbox nur mit rsize=32768,wsize=8192

bei mir nicht..siehe oben.

joh, damit wollt ich mitteilen das es vermutl. am verw. nfs-server liegt bzw. am verw. kernel des bs

[petgun]

joh, damit wollt ich mitteilen das es vermutl. am verw. nfs-server liegt bzw. am verw. kernel des bs

aha, das 'kernel des bs' (des Servers) sollte bei tim ja gleich sein...aber sein Notebook gibt bei mount:

Code: Alles auswählen

celebrimbor:/export/public on /eregion/public type nfs (rw,soft,rsize=32768,wsize=32768,addr=192.168.238.1)

aus...verstehe ich nicht...ok, 'tcp' ist default..alles klar, danke!

[Spooky]

@petgun

Wer weiß, ob die Clienten bei einem "mount" auch wirklich immer das zurückmelden was sie verwenden, oder ob sie manchmal einfach nur das anzeigen was ihnen als Parameter mitgegeben wurde.

Spooky

[tim3rid3r]

@tim3rid3r

Die Endungen .0 ; .1 ; .2 sind nicht gerade ein Zeichen dafür, dass der SPTS Modus aktiv ist während der Aufnahme.

kuck dir doch einfach mal ALLE dateinamen im ersten posting an...

was fällt dir auf?


genau. die aufnahme bricht gegen ende hin einmal ab, und danach fängts wieder an und die automatik schafft es anscheinend nich den spts treiber wieder zu laden... aber warum bricht die aufname ab?

Bist Du sicher, dass die anderen Clienten wirklich mit 32768 gemountet haben.

Ja, bin ich, steht zumindest da wenn ich auf den anderen clients "mount" eintippe. schrieb ich aber schon in einem früheren posting.


bye,
[L]

[petgun]

Bist Du sicher, dass die anderen Clienten wirklich mit 32768 gemountet haben.

Ja, bin ich, steht zumindest da wenn ich auf den anderen clients "mount" eintippe. schrieb ich aber schon in einem früheren posting.

zexma hat die Antwort gegeben...mounte vom Notebook mal mit udp und guck ob Du bei 'mount' immer noch 32768 angezeigt bekommst....oder ersetze 'udp' auf der DBox mit 'tcp' dann bekommst Du wenn zexma Recht hat bei 'mount' die 32768 angezeigt.

[Spooky]

@tim3rid3r

Auch wenn ich mir jetzt vorkomme als hätte ich auf Suaheli geschrieben .....

Ich habe nirgends etwas geschrieben, dass die Automatik komplett versagt. So wie Dein Post aussieht, beginnt zwar die Aufnahme im SPTS Modus aber durch eine Unterbrechung im Datenstrom, wahrscheinlich Netzwerk zu langsam, muß die Aufnahme mehrfach neu angesetzt werden. Und so wie es aussieht verschluckt sich da die Automatik und macht im PES Modus weiter, sonst würden die restlichen Endungen ebenfalls TS lauten.

Spooky