HDD an Ethernet

[petgun]

@JOCKYW2001
...wieso ist da so eine grosse Differenz wenn ich nicht von /dev/zero > HDD sondern von /proc/kcore > HDD schreibe? Lesen aus dem Flash sollte doch nicht so langsam sein...?

It is much slower! Please do the same test as I suggested in my previous post and it would be very nice if you can also measure the NFS and CIFS performance with essu's script.

ok, I will do it tonight and post the results here!

@all
waere nett wenn hier alle mal einen systematischen Speed-Test machen und auch das Script von morgoth testen und die Erfahrungen/Werte hier posten....vielleicht mit Konfiguration/Switch etc. Ich habe zB. WLAN komplett deaktiviert...sollt ja keinen Einfluss haben...

cu,
peter

[petgun]

hi,

Das habe ich auch an meinem Switch (Level-One FSW-2208TX) sofort erkannt. Als der WL-HDD hochfuhr ging die Full-Duplex-LED an und nach ein Paar Sekunden wieder aus (Da hatte mein Skript zugeschlagen). Ohne nmbd-Änderung ging am Switch auch die
fulll-Duplex LED aus sobald ich den befehl per Telnet abgesetzt hatte.

...leider hat mein Switch keine Full-Duplex-Led aber der Effekt mit dem Movieplayer beweist ja, das es klappt...eindeutig ist aber der Unterschied mit der orangen WL-HDD Led: Die ist bei mir immer an..auch nach 'et -i eth1 speed 100half' ueber Telnet und blinkt zusaetzlich bei Zugriffen. Mit Deinem Script ist die Led immer _aus_ und blinkt nur noch bei Telnet/FTP Zugriffen...

cu,
peter

[morgoth]

@petgun

nachdem du die nmbd-Änderungen gemacht hast hast du auch dein WL-HDD ausgemacht? Ich habe ihm mal den Strom für ein paar Sekunden abgeschaltet.
Mach mal ps x und schaue welche Dienste noch laufen. Wenn nsfd, nmbd.orig, smbd nicht laufen dann stimmt was mit dem Skript nicht.

[petgun]

@petgun

nachdem du die nmbd-Änderungen gemacht hast hast du auch dein WL-HDD ausgemacht? Ich habe ihm mal den Strom für ein paar Sekunden abgeschaltet.
Mach mal ps x und schaue welche Dienste noch laufen. Wenn nsfd, nmbd.orig, smbd nicht laufen dann stimmt was mit dem Skript nicht.

ich hatte die nmbd nach nmbd.org anstatt nach nmbd.orig umbenannt...schei... wenn man permanent eine Brille braucht, das aber nicht verinnerlicht hat ;-) klappt aber immer noch nicht...CIFS geht danach nicht mehr...nmbd und nmbd.org tauchen nicht in der Prozessliste auf...

cu,
peter

[morgoth]

Eigentlich sollte die Prozessliste genau so aussehen wie vor der Änderung nur anstatt ./nmbd -D ./nmbd.orig -D angezeigt wird.
CIFS hatte ich heute morgen auch noch getestet und es lief.
Schaue mal mit vi in das Skript rein, vielleicht haben sich doch DOS-Zeichen eingemogelt.
---
noch eine Idee. Mach mal ls -al und schaue wer als owner des Skriptes aufgeführt wird. Wenn da nobody steht könnte es das Problem sein. Es müsste root sein.

[petgun]

noch eine Idee. Mach mal ls -al und schaue wer als owner des Skriptes aufgeführt wird. Wenn da nobody steht könnte es das Problem sein. Es müsste root sein.

Danke fuer die Hilfe! Ja, es steht da 'admin' als User...wie aendere ich das auf root?

cu,
peter

PS:Hab's jetzt hinbekommen....das '#' in der ersten Zeile muss natuerlich wech ;-) sorry, aber ich bin kein Linux-Experte

[morgoth]

....das '#' in der ersten Zeile muss wech ;-)
sorry, aber ich bin kein Linux-Experte

Cool dass es bei dir jetzt auch funktioniert. Komisch finde ich nur, dass du # in der ersten Zeile weg lassen musstest. Meines Wissens nach fangen Skripte immer so an. Naja, man muss ja nicht alles verstehen.

[petgun]

hi,
hat noch einer von Euch eine Idee wie man die staendig blinkende Power-Led in ein Dauerlicht verwandelt? Das Filesystem ist nicht 'inconsistence' und trotzdem blinkt das Teil..

cu,
peter

[JOCKYW2001]

I did some NFS performance tests. The WL-HDD in 100mb full duplex. Movieplayer works fine if share is mounted with tcp, async,rsize=wsize=32768 and direct recording works fine with udp,async,rsize=wsize=32768.

Ergo: before recording and playback a remount is necessary with the correct parameters.

I haven't tested CIFS (yet).

[Gorcon]

Das Filesystem ist nicht 'inconsistence' und trotzdem blinkt das Teil.

Bei mir zeigt er das aber an. (wovon ich aber nicht ausgehe)
Gruß Gorcon

[Sickboy]

Das Filesystem ist nicht 'inconsistence' und trotzdem blinkt das Teil.

Bei mir zeigt er das aber an. (wovon ich aber nicht ausgehe)
Gruß Gorcon

das selbe wie bei mir "Filesystem inconsistence" und dauerblincken "nervt etwas"

[petgun]

Hi,
schlechte Nachrichten http://forum.tuxbox-cvs.sourceforge.net ... c&start=21
Da gibt's wohl doch noch einiges zu tun um dahin zu kommen..und ich glaube das wird schwierig werden.
....wer keine Lust hat dem Link zu folgen: es geht nur um die Streamingperformance...8,7 MBit/sek reichen bei manchen Sendungen einfach nicht aus um ohne Unterbrechung zu streamen...mein Ziel ist es auch mit dem WL-HDD > 9 MBit/sek zu schaffen...so wie es zB. mit SFU moeglich ist.

cu,
peter

[JOCKYW2001]

You should have either connected the Asus directly to your dbox to eliminate negative impact from your switch or you should have set the Asus to 10half (instead of the 100half).

To find out the real NFS performance of the Asus and of M$ SFU you must connect Asus and PC directly with Dbox2. Then execute a slightly modified version of essu's script. Don't forget to 'chmod 755 /tmp/nfs_test.sh' before execution. Furthermore you must adapt IP and local mount directory to your configuration.

Code: Alles auswählen

#!/bin/sh
# upload to dbox2 in /tmp and run with ./nfs_test tmp/harddisk/part1/Movies >linux_v3.log 
V=$1 
#R=`expr 32 \* 1024` 
for R in 8192 16384 32768
do 
# for P in udp tcp 
 for P in tcp 
 do 
#  for S in sync async 
  for S in async 
  do 
  echo 
  echo $P", "$S 
                umount /var/movies 
                mount -t nfs -o rw,soft,$P,nolock,$S,rsize=$R,wsize=$R 192.168.1.220:/$V /var/movies 
                a=`date +%s` 
                time dd if=/dev/zero of=/var/movies/test bs=8k count=8192 
                z=`date +%s` 
                n=`expr $z - $a` 
                expr 512000 / $n 
                a=`date +%s` 
                time dd of=/dev/null if=/var/movies/test bs=8k count=8192 
                z=`date +%s` 
                n=`expr $z - $a` 
                expr 512000 / $n 
                mount | grep /var/movies 
  done 
 done 
done

When are these broadcasts again?

Edit: : pls post the exact configuration of the time you made your recording (exports async, or sync, mount parameters on dbox2, O_SYNC value, asus ethernet mode, direct connect or via switch)

[petgun]

You should have either connected the Asus directly to your dbox to eliminate negative impact from your switch or you should have set the Asus to 10half (instead of the 100half)...

...nee, davon halte ich nix: Das muss auch mit Switch und 100full/half gehen...mit SFU klappt das ja auch und mein Netzwerk mit Switch _muss_ so bleiben wie es ist.

cu,
peter

[JOCKYW2001]

You should have either connected the Asus directly to your dbox to eliminate negative impact from your switch or you should have set the Asus to 10half (instead of the 100half)...

...nee, davon halte ich nix: Das muss auch mit Switch und 100full/half gehen...mit SFU klappt das ja auch und mein Netzwerk mit Switch _muss_ so bleiben wie es ist.

cu,
peter

Hehehe, reacting a bit impulsive I must say No, of course I don't want you to change your production environment. The sole reason I asked this is to find out what the real raw performance of the Asus is. I'm sure we can iron out all network factors which have a negative impact. Actually when recording setting the Asus to 100 full duplex is what I found to work best.

One easy possible solution is to further increase the read (prefetch) and write (cache) buffers of the NFS daemon. I will build a firmware which will allow for rsize and wsize values of up to 128Kb.

You can postpone running the script until I've finished the new firmware. Should be in ~1 hour.

cy, JockyW

[Sickboy]

hier mal mein Log
linux_v3.log
----
tcp, async
6095
6243
192.168.123.220:/tmp/harddisk/part2/movies/ on /mnt/filme type nfs (rw,v3,rsize=8192,wsize=8192,soft,tcp,nolock,addr=192.168.123.220)

tcp, async
6023
6320
192.168.123.220:/tmp/harddisk/part2/movies/ on /mnt/filme type nfs (rw,v3,rsize=16384,wsize=16384,soft,tcp,nolock,addr=192.168.123.220)

tcp, async
6168
6320
192.168.123.220:/tmp/harddisk/part2/movies/ on /mnt/filme type nfs (rw,v3,rsize=32768,wsize=32768,soft,tcp,nolock,addr=192.168.123.220)
--
ist das soweit gut oder eher schlecht ??

Gruss Sickboy

[JOCKYW2001]

@Sickboy: Please try once more with following script changes:

Code: Alles auswählen

for P in udp tcp 
# for P in tcp 
 do 
for S in sync async 
#  for S in async 

Note: the test may take 1/2 hour or more!

[petgun]

Hehehe, reacting a bit impulsive I must say

war nix gegen Deine Arbeit und ich bin sicher auch mit dem WL-HDD > 9 MBit/sek zu kommen

The sole reason I asked this is to find out what the real raw performance of the Asus is. I'm sure we can iron out all network factors which have a negative impact. Actually when recording setting the Asus to 100 full duplex is what I found to work best.

ja klar. Ich komme nicht ueber 8,7 MBit im Moment....mal sehen ob es mit Deine kommenden Aenderungen noch schneller geht

cu,
peter

[JOCKYW2001]

...Ich komme nicht ueber 8,7 MBit im Moment....mal sehen ob es mit Deine kommenden Aenderungen noch schneller geht

How do you measure that? And I will not rest until these probs are solved

[update]
I just compiled an Asus kernel with 64KB rsize/wsize support, but mounting from dbox2 only gives me 32KB
So there is some more stuff which needs to be changed, must look into that ...

[petgun]

How do you measure that? And I will not rest until these probs are solved [/quote]
super! Ich schreibe so ca. 60 MB und messe die Zeit mit der Stoppuhr...das Script von Essu dauert mir zu lange ;-)

[update]
I just compiled an Asus kernel with 64KB rsize/wsize support, but mounting from dbox2 only gives me 32KB
So there is some more stuff which needs to be changed, must look into that ..

..in der aktuellen Version wird imo auch wsize=16384 nicht akzeptiert...8192 und 32768 aber schon.

cu,
peter

[Sickboy]

@Sickboy: Please try once more with following script changes:

Code: Alles auswählen

for P in udp tcp 
# for P in tcp 
 do 
for S in sync async 
#  for S in async 

Note: the test may take 1/2 hour or more!

der neue Log für dich


udp, sync
2813
7529
192.168.123.220:/tmp/harddisk/part2/movies on /mnt/filme type nfs (rw,sync,v3,rsize=8192,wsize=8192,soft,udp,nolock,addr=192.168.123.220)

udp, async
6918
7420
192.168.123.220:/tmp/harddisk/part2/movies on /mnt/filme type nfs (rw,v3,rsize=8192,wsize=8192,soft,udp,nolock,addr=192.168.123.220)

tcp, sync
2976
6320
192.168.123.220:/tmp/harddisk/part2/movies on /mnt/filme type nfs (rw,sync,v3,rsize=8192,wsize=8192,soft,tcp,nolock,addr=192.168.123.220)

tcp, async
5953
6320
192.168.123.220:/tmp/harddisk/part2/movies on /mnt/filme type nfs (rw,v3,rsize=8192,wsize=8192,soft,tcp,nolock,addr=192.168.123.220)

udp, sync
2994
7876
192.168.123.220:/tmp/harddisk/part2/movies on /mnt/filme type nfs (rw,sync,v3,rsize=16384,wsize=16384,soft,udp,nolock,addr=192.168.123.220)

udp, async
7529
7876
192.168.123.220:/tmp/harddisk/part2/movies on /mnt/filme type nfs (rw,v3,rsize=16384,wsize=16384,soft,udp,nolock,addr=192.168.123.220)

tcp, sync
2959
6320
192.168.123.220:/tmp/harddisk/part2/movies on /mnt/filme type nfs (rw,sync,v3,rsize=16384,wsize=16384,soft,tcp,nolock,addr=192.168.123.220)

tcp, async
6168
6320
192.168.123.220:/tmp/harddisk/part2/movies on /mnt/filme type nfs (rw,v3,rsize=16384,wsize=16384,soft,tcp,nolock,addr=192.168.123.220)

udp, sync
2994
7876
192.168.123.220:/tmp/harddisk/part2/movies on /mnt/filme type nfs (rw,sync,v3,rsize=32768,wsize=32768,soft,udp,nolock,addr=192.168.123.220)

udp, async
7757
7876
192.168.123.220:/tmp/harddisk/part2/movies on /mnt/filme type nfs (rw,v3,rsize=32768,wsize=32768,soft,udp,nolock,addr=192.168.123.220)

tcp, sync
2976
6400
192.168.123.220:/tmp/harddisk/part2/movies on /mnt/filme type nfs (rw,sync,v3,rsize=32768,wsize=32768,soft,tcp,nolock,addr=192.168.123.220)

tcp, async
6168
6481
192.168.123.220:/tmp/harddisk/part2/movies on /mnt/filme type nfs (rw,v3,rsize=32768,wsize=32768,soft,tcp,nolock,addr=192.168.123.220)

------

und was sagt der Log jetzt aus ? gut ? schlecht ?

[petgun]

hi,

und was sagt der Log jetzt aus ? gut ? schlecht ?

..Du bist imho noch nicht ganz am Ziel (..zu langsam fuer 100% unterbrechungsfreies streamen), aber die optimalen Werte auf der Box sind klar:

udp, async
7757
7876
192.168.123.220:/tmp/harddisk/part2/movies on /mnt/filme type nfs (rw,v3,rsize=32768,wsize=32768,soft,udp,nolock,addr=192.168.123.220)

...jetzt musst Du noch den optimalen Switch/Router finden und das WL-HDD optimieren...

cu,
peter

[JOCKYW2001]

@Sickboy: The values aren't bad at all, but not the best which I have seen in this forum. Treito reached about 8750kbs read speed and essu got 8800kbs write speed, both with different NFS servers afaik. For you clearly udp, async, rsize=wsize=32kb is the right choice.

Your Asus is directly conneced with the dbox? If that is the case I'm afraid it will be hard to squeeze out more performance, but we won' give up!

@petgun: I would be very happy if one of these days you could connect your SFU pc directly with your dbox via a crossover cable and execute the modified essu script. I really need these values as a reference!

Thx, JockyW

[kodo]

Hi Leute,

eine für mich wichtige Frage wäre, ob folgendes Szenario funktioniert: WLAN vorhanden, DSL Router Linksys WRT54GS mit Sveasoft, WL-HDD soll per Ethernet Port an die Dreambox. Jetzt kommts: kann ich mit der Dreambox per WLAN, also über das WL-HDD ins Internet? Zugriff auf die HDD ist erstmal nicht so wichtig. Falls das geht, in welchem Modus müsste man dann das Asus betreiben?

Gruß

Stephan

[petgun]

hi,

@petgun: I would be very happy if one of these days you could connect your SFU pc directly with your dbox via a crossover cable and execute the modified essu script. I really need these values as a reference!

ok, I will do that...but I'm sure the values are not that good as with my switch.
In der Vergangenheit habe ich schon mal Messungen mit der Box und PC mit Crosskabel gemacht und die Wete waren schlechter als mit Switch.

Im Moment bin ich verunsichert: Ich hatte bisher noch _nie_ eine Streamunterbrechung (mit Deiner neuen Version und den optimierten Werten und 100half) wenn mein PC _aus_ war...irgendwo ist da noch der Wurm drin wenn der PC an ist und zB. die aktive Aufnahmepartition als CIFS-Share verbunden ist. Laut Ethereal geht da auch ganz schoen was ab auf dem Netzwerk (CIFS, SMB) aber nicht so sehr, dass es die dann haeufigen Unterbrechungen erklaert...

cu,
peter