HDD an Ethernet

[petgun]

@petgun: I'll see if I can do some tests with 1.2.3.0 tonight

Is it possible to select an existing ext2 partition for formatting to ext3?

..no

@all: I found a 2.5" HDD drive test:
http://www.xbitlabs.com/articles/storag ... undup.html
(the Toshiba MK6021GAS isn't a good choice, but I am convinced that performance in the Asus can be improved by "telling" the IDE driver that there is 2048kb cache on-board)

cool! Ein Graph mit der neuen unmodifizierten Firmware....

rot sind drei konkurierende Schreibprozesse auf das WL-HDD (mit CIFS) und gelb ist wieder irgendeine DBox Aufnahme ueber SFU. Wie Ihr sehen koennt bricht die Schreibgeschwindigkeit nicht mehr so stark ein...das sieht imho auch gut aus wenn die Schraube fuer die Buffererkennung nicht gefunden wird...ich freue mich auf die neue Version

cu,
peter

[Pepe]

Hi Petgun,

kannst Du bitte mal eine detailierte Zusammenfassung Deiner 'Testumgebung' posten?

Interresant wäre hier auf jeden Fall die beteiligten Hardwarekomponenten (Anzahl dBox'n, Switch(es), PC's), die eingesetzte Software (wo und was [z.B. SFU auf ..., xxx-Image auf box]) bzw. wie Du die Messungen durchführst (Scripts) und inbesondere: wo kommen die coolen Graphiken her.

Vieleicht kommen wir so zu 'vergleichbaren' Ergebnissen.

@All
BTW, die Tests mit meiner HDD haben letztendlich ergeben das sich die HDD und der WL-HDD irgendwie nicht grün sind. Mit 'ner aktuelleren HDD sehen die Werte dann doch besser aus.

Werde mir dann wohl 'ne neue HDD anschaffen. Gibts hierfür Empfehlungen??

[petgun]

hi,

..(Anzahl dBox'n, Switch(es), PC's), die eingesetzte Software (wo und was [z.B. SFU auf ..., xxx-Image auf box]) bzw. wie Du die Messungen durchführst (Scripts) und inbesondere: wo kommen die coolen Graphiken her.

die Graphiken kommen aus dem Taskmanager/Netzwerk von XP ;-) ich habe nur eine Philips Sat Box mit einem akuellen Yadi/DietmarW/JtG Image..wechsel ich oefters...Scripte habe ich keine speziellen...die von Essu/JockyW/usw. und der PC hat einen integrierten 3Com GBit NIC und mein Switch ist ein billig Teil von DLink.

Werde mir dann wohl 'ne neue HDD anschaffen. Gibts hierfür Empfehlungen??

...wenn Du dem Link von JockyW mit den Tests folgst wird dort eine Seagate empfohlen...aber ich bin zuversichtlich dass es mit der neuen Firmware auch mit meiner Toshiba klappt
Und es scheint so zu sein:
Die native Schreibgeschwindigkeit liegt jetzt bei 4,8 MB/sec und lesen geht ab mit 10,7 MB/sec ...also schreiben geht bei mir jetzt mehr als doppelt so schnell ..ich glaube zwar nicht dass sich bei jedem von Euch die Schreibgeschwindigkeit verdoppelt aber irgendeine Schraube muessen die Jungs bei Asus gefunden haben

cu,
peter

[JOCKYW2001]

Just started some testing with the latest 1.2.3.0 firmware. Unfortunately the sourcecode isn't available yet, so I can not modify the linux kernel and not autostart the various services such as NFS, Samba 3.0.9, vsftpd & telnet . And since the kernel can't be modified we have to run 'unfsd' which is the userspace nfsv3 daemon. This is what you got to do:

1. start the telnetd via the webmanager backdoor page:

Code: Alles auswählen

/tmp/harddisk/part1/tmp/telnetd -d -l /tmp/harddisk/part1/tmp/sh

2. copy the following script with name init.sh to /tmp/harddisk/part1
Remember that it should be in unix format and have appropriate access permissions.

Code: Alles auswählen

#!/bin/sh

# start telnet daemon via Web Manager (don't include the '#'!):
#/tmp/harddisk/part1/tmp/telnetd -d -l /tmp/harddisk/part1/tmp/sh

# open a telnet session and type following command (don't include the '#'!):
#/tmp/harddisk/part1/init.sh

mount -o bind /tmp/harddisk/part1/conf/etc/ /etc
  
cd /tmp/harddisk/part1/conf/bin

# start userspace NFSv3 daemon
mkdir /var/lib
mkdir /var/lib/nfs
cp /etc/exports /var/lib/nfs/etab
./portmap
./mountd
./unfsd

# start FTP daemon 
killall -9 stupid-ftpd
./vsftpd &
 
# start Samba 3.0.9 daemon 
killall -9 nmbd
killall -9 smbd
./nmbd -s /tmp/harddisk/part1/conf/usr/local/samba/lib/smb.conf -D
./smbd -s /tmp/harddisk/part1/conf/usr/local/samba/lib/smb.conf -D

Now you can mount a NFS share just as normal. Note that 'unfsd' can not handle larger than 8192 bytes rsize and wsize values.

My first test passed succesfully (recording 20 minutes ZDF Johannes B. Kerner). I haven't yet reformatted the HDD to ext3 yet, it's still ext2.

JockyW

[Pepe]

@Petgun

Wenn ich deine Graphiken richtig 'lese' schwankt der Netzwerktraffic so um ca. 20Mbit/sec und der Stream zum SFU-Server so um die 7Mbit/sec.

Wie hast Du die 4.8MB/sec bzw. 10,7MB/sec ermittelt?

Wenn sich diese Werte mit der 'customized' Firmware von JockW manifestieren sollte das Streamen von der Box kein Thema mehr sein

[petgun]

hi,

Wenn ich deine Graphiken richtig 'lese' schwankt der Netzwerktraffic so um ca. 20Mbit/sec und der Stream zum SFU-Server so um die 7Mbit/sec.

yep

Wie hast Du die 4.8MB/sec bzw. 10,7MB/sec ermittelt?

von der WL-HDD aus mit Telnet und zB.

cat /dev/zero > /tmp/harddisk/part1/testfile

einfach eine Minute lang laufen lassen. Fuer die Lesegeschwindigkeit einfach das Testfile wieder einlesen mit

cat /tmp/harddisk/part1/testfile > /dev/null

und die Zeit mit der Stoppuhr messen.

@JockyW
alles gruen!! Mit der neuen Firmware und 'unfsd' komme ich auf 8,4 MBit/sec...und das scheint jetzt sogar zu reichen fuer fehlerfreie Aufnahmen vom ZDF also keine Einbrueche mehr bei der Schreibgeschwindigkeit! 4h Aufnahme ohne Unterbrechung obwohl ich weiterhin am PC gearbeitet habe (allerdings ohne auf das WL-HDD zuzugreifen...ausser 'dir'...aber das hat frueher oft fuer einen Abbruch gereicht)

Danke fuer Deine Arbeit und das Script!!!

Mit wsize=32768 und NFS im Kernel sollte das noch besser werden
Was allerdings stark auffaellt: wenn jetzt intensiv auf die WL-HDD geschrieben wird, blinkt die HDD-LED sehr viel seltener ....vorher war's ein gruenes Dauerlicht mit kurzen Unterbrechungen irgendwas ist viel besser geworden...vielleicht wird jetzt der Buffer meiner Toshiba HD erkannt oder es ist sonst eine Optimierung....aber ich glaube die Karten sind neu gemischt

Unfortunately the sourcecode isn't available yet

I hope the source will be published in the next time.

One _little_ problem: I have no write permission to part1 with your InitScript and Samba...and I cant't find the reason for that...

cu,
peter

[JOCKYW2001]

@JockyW
alles gruen!! Mit der neuen Firmware und 'unfsd' komme ich auf 8,4 MBit/sec...und das scheint jetzt sogar zu reichen fuer fehlerfreie Aufnahmen vom ZDF also keine Einbrueche mehr bei der Schreibgeschwindigkeit!

That sounds great and nearly unbelievable. Did you measure with essu's script? You can edit that script such that it only measure udp, async, 8192. If you did not use it please do so, because I had several weird experiences:
1. on my "wlan bridged" dbox I could record and playback w/o glitches, but essus values are only ~5800kbs for R/W
2. on my livingroom dboxes I had glitches during recording. These boxes are both connected to a passive 10mb hub and the hub is connected to a switch. I tried the Asus in 100full, 100half and 10half and also connected the Asus directly to the hub.

Mit wsize=32768 und NFS im Kernel sollte das noch besser werden
Was allerdings stark auffaellt: wenn jetzt intensiv auf die WL-HDD geschrieben wird, blinkt die HDD-LED sehr viel seltener ....vorher war's ein gruenes Dauerlicht mit kurzen Unterbrechungen irgendwas ist viel besser geworden...vielleicht wird jetzt der Buffer meiner Toshiba HD erkannt oder es ist sonst eine Optimierung....aber ich glaube die Karten sind neu gemischt

Yes, I noticed that. They apparently use a much bigger ram buffer now

One _little_ problem: I have no write permission to part1 with your InitScript and Samba...and I cant't find the reason for that...

Code: Alles auswählen

cd /tmp/harddisk
chmod -R 777 *

ciao, JockyW

[petgun]

hi,

That sounds great and nearly unbelievable. Did you measure with essu's script? You can edit that script such that it only measure udp, async, 8192...

...I did not change my mount Options and if I look at the Dbox I get:

Code: Alles auswählen

192.168.0.220:/tmp/harddisk/part1/Movies on /mnt/filme type nfs (rw,v3,rsize=819
2,wsize=8192,hard,udp,nolock,addr=192.168.0.220)

and if i do

cat /dev/zero > /tmp/harddisk/part1/testfile

for a minute or so I have a native write speed ~4,8MB/sec and please trust me...I dont lie into my pocket ;-)

1. on my "wlan bridged" dbox I could record and playback w/o glitches, but essus values are only ~5800kbs for R/W

..try 'top' on another Telnetsession while testing...maybe to much CPU-load for 'dd', 'time', '???' I dont know...

2. on my livingroom dboxes I had glitches during recording. These boxes are both connected to a passive 10mb hub and the hub is connected to a switch. I tried the Asus in 100full, 100half and 10half and also connected the Asus directly to the hub.

..I think it's not a good idea to use a hub...with a switch you have a collision Domain...so try DBox and WL-HDD direct connected to the switch...
...ich habe das UPnP-Advertising abgeschaltet und die Gatewayadresse vom WL-HDD gleich der WL-HDD IP gesetzt...und auch die Gatewayadresse der DBox ist bei mir gleich der DBox-IP um jeglichen moeglichen Traffic aus dem Segment zB. in's Internet zu verhindern...werde ich spaeter wieder aendern aber im Moment will ich sicher gehen....frueher hatte ich oft auch Unterbrechungen wenn ich mit meinem Modem ins Internet gegangen bin und nur den IE aufgerufen habe....Homepage ist bei mir 'http://dbox'...

Code: Alles auswählen

cd /tmp/harddisk
chmod -R 777 *

yep, das war's...aber warum bekome ich:

Code: Alles auswählen

# chmod -R 777 *
part1/conf/usr/lib/libattr.la: No such file or directory

??

cu,
peter

[JOCKYW2001]

yep, das war's...aber warum bekome ich:

Code: Alles auswählen

# chmod -R 777 *
part1/conf/usr/lib/libattr.la: No such file or directory

Just ignore that.

Thanks for clarification, nevertheless it would be nice if you can run essu's script some time. I want to see if you get similar lower values than expected

[petgun]

hi,

..it would be nice if you can run essu's script some time. I want to see if you get similar lower values than expected

..sorry, but if i try:
'# /tmp/harddisk/part1/tmp/busybox time dd if=....'
I get 'time: applet not found'

cu,
peter

[JOCKYW2001]

..sorry, but if i try:
'# /tmp/harddisk/part1/tmp/busybox time dd if=....'
I get 'time: applet not found'

Yes, too many different busyboxes cluttered on the asus. This one should work: /tmp/harddisk/part1/conf/bin/busybox time dd if=....
On the dbox time should be available in latest yadi images

[petgun]

Yes, too many different busyboxes cluttered on the asus. This one should work: /tmp/harddisk/part1/conf/bin/busybox time dd if=....

Code: Alles auswählen

# /tmp/harddisk/part1/conf/bin/busybox time dd if=/dev/zero of=/tmp/harddisk/part1/testfile bs=16k count=16384
16384+0 records in
16384+0 records out
real    0m 54.34s
user    0m 0.31s
sys     0m 47.12s
#
# /tmp/harddisk/part1/conf/bin/busybox time dd if=/tmp/harddisk/part1/testfile of=/dev/null bs=16k
16384+0 records in
16384+0 records out
real    0m 27.85s
user    0m 0.25s
sys     0m 17.60s

a little bit lower but still pretty good

@all
..der interessante Teil ;-) meiner Testaufnahme der gestrigen Nacht mit PX nachbearbeitet..

-> Video: fr/ ct/ 1p/ cg/ og/ dg -> 202675/ 18/ 16579/ 16583/ 0/ 0
-> Videolänge: 202675 Bilder in 02:15:07.000
-> GOP Zusammenfassung: min. 2, max. 36 Felder; enthält Halb- und Vollbilder
-> durchschnittl. nom. Bitrate 5056839bps (min/max: 2239200/6524400)
-> setze Bitrate im ersten Sequenzkopf auf 6524400bps
---> neue Datei: D:\rec\strange_days.mpv

..da duerft Ihr dann noch mal > 500KBit hinzuzaehlen fuer die beiden Audio Spuren....einwandfrei!!

cu,
peter

[JOCKYW2001]

Just measured raw hdd performance with the new 1.2.3.0 firmware and I see that it got slower!
So it seems about time to reformat to ext3 !!

Code: Alles auswählen

# /tmp/harddisk/part1/conf/bin/busybox time dd if=/dev/zero of=/tmp/harddisk/part2/testfile bs=16k count=16384

raw write speed 3.5MB/sec (was 3.8MB/sec with 1.1.2.8)
16384+0 records in
16384+0 records out
real    1m 13.91s
user    0m 0.35s
sys     0m 33.33s
#
#
# /tmp/harddisk/part1/conf/bin/busybox time dd if=/tmp/harddisk/part2/testfile of=/dev/null bs=16k

16384+0 records in
16384+0 records out
real    0m 41.20s
user    0m 0.16s
sys     0m 17.21s
#
raw read speed 6.2MB/sec (was 9.1MB/sec with 1.1.2.8)

[Update]
Yes indeed! The ext3 filesystem is much faster I must tell my friend

here we go:

Code: Alles auswählen

# /tmp/harddisk/part1/conf/bin/busybox time dd if=/dev/zero of=/tmp/harddisk/part1/testfile bs=16k count=16384

raw write speed 5MB/sec (was 3.8MB/sec with 1.1.2.8)
16384+0 records in
16384+0 records out
real    0m 50.72s
user    0m 0.35s
sys     0m 46.90s
#
#
# /tmp/harddisk/part1/conf/bin/busybox time dd if=/tmp/harddisk/part1/testfile of=/dev/null bs=16k

raw read speed 11.2MB/sec (was 9.1MB/sec with 1.1.2.8)
16384+0 records in
16384+0 records out
real    0m 22.66s
user    0m 0.18s
sys     0m 18.04s
#

[JOCKYW2001]

The userspace nfsv3 daemon is simply too slow.
@petgun: I'm eagerly waiting for your essu script values

Code: Alles auswählen

unfsd, 100full, 1.2.3.0, sagem cable
udp, async, 8192
6736
6168
192.168.1.220:/tmp/harddisk/part1/Movies on /var/movies type nfs (rw,v3,rsize=8192,wsize=8192,soft,udp,nolock,addr=192.168.1.220)
-----------------------------------------------------------------------------------------------------------------------------------

unfsd, 10half, 1.2.3.0, sagem cable
udp, async, 8192
6481
7211
192.168.1.220:/tmp/harddisk/part1/Movies on /var/movies type nfs (rw,v3,rsize=8192,wsize=8192,soft,udp,nolock,addr=192.168.1.220)
-----------------------------------------------------------------------------------------------------------------------------------

unfsd, 10half, 1.2.3.0, sagem sat (wlan bridge)
udp, async, 8192
6564
7211
192.168.1.220:/tmp/harddisk/part1/Movies on /var/movies type nfs (rw,v3,rsize=8192,wsize=8192,soft,udp,nolock,addr=192.168.1.220)

[petgun]

The userspace nfsv3 daemon is simply too slow.
@petgun: I'm eagerly waiting for your essu script values

;-) as I wrote..:

alles gruen!! Mit der neuen Firmware und 'unfsd' komme ich auf 8,4 MBit/sec

with async, udp, r/w size = 8192...and again: please trust me ;-)

cu,
peter

[JOCKYW2001]

alles gruen!! Mit der neuen Firmware und 'unfsd' komme ich auf 8,4 MBit/sec

with async, udp, r/w size = 8192...and again: please trust me ;-)

Sure I trust and believe you, but that's not the point. It seems that the "essu script" measuring method is not a good reference for the 1.2.3.0 based firmwares anymore.

[petgun]

...it seems that the "essu script" measuring method is not a good reference for the 1.2.3.0 based firmwares anymore.

maybe..please post the modified Essu-Script...nur eine Messung fuer schreiben und lesen...udp,async, r/w size=8192 and I will try it...please tell me/us how to start the script with the 1.1.3.0 firmware...

cu,
peter

[JOCKYW2001]

Ok, here you go. Change '192.168.1.220' and '/var/movies/' if necessary.

Code: Alles auswählen

#!/bin/sh
# upload to dbox2 in /tmp and 'chmod 755 nfs_test.sh' and run with 
# ./nfs_test.sh tmp/harddisk/part1/yourshareddirectory > nfs.log 
V=$1 
#R=`expr 32 \* 1024` 
#for R in 8192 16384 32768
for R in 8192
do 
# for P in udp tcp 
  for P in udp 
 do 
# for S in sync async 
  for S in async 
  do 
  echo 
  echo $P", "$S", "$R 
                umount /var/movies 
                mount -t nfs -o rw,soft,$P,nolock,$S,rsize=$R,wsize=$R 192.168.1.220:/$V /var/movies 
                a=`date +%s` 
                time dd if=/dev/zero of=/var/movies/test bs=8k count=8192 
                z=`date +%s` 
                n=`expr $z - $a` 
                expr 512000 / $n 
                a=`date +%s` 
                time dd of=/dev/null if=/var/movies/test bs=8k count=8192 
                z=`date +%s` 
                n=`expr $z - $a` 
                expr 512000 / $n 
                mount | grep /var/movies 
  done 
 done 
done

PS: indeed recording/playback works great, even with my bad "essu script" values as posted above

[petgun]

hi,

udp, async, 8192
8192+0 records in
8192+0 records out
real 1m 10.01s
user 0m 0.28s
sys 0m 11.63s
7314

8192+0 records in
8192+0 records out
real 1m 8.27s
user 0m 0.15s
sys 0m 8.20s
7529

192.168.0.220:/tmp/harddisk/part1/Movies on /mnt/filme type nfs (rw,v3,rsize=8192,wsize=8192,soft,udp,nolock,addr=192.168.0.220)

sorry, ich weiss vor lauter testen nicht mehr wann/wie ich auf 8,4 MBit gekommen bin....

cu,
peter

[morgoth]

Ich habe gerade die Firmware 1.2.3.0 geflasht und telnetd per Web Manager gestartet und mit telnet init.sh ausgeführt.. Leider lässt sich von der dbox aus nicht mounten. Server: Permission denied. Irgendwelche Ideen? Die daemons laufen und an der exports (ging ja davor schon (zwar langsam)) hat sich nichts geändert.
Mein mount befehl sieht so aus:

Code: Alles auswählen

mount -t nfs -o rw,soft,udp,nolock,async,rsize=8192,wsize=8192 192.168.5.220:/tmp/harddisk/part2/mnt /mnt

Von der dbox aus kann ich auch den WL-HDD pingen.

[JOCKYW2001]

Ich habe gerade die Firmware 1.2.3.0 geflasht und telnetd per Web Manager gestartet und mit telnet init.sh ausgeführt.. Leider lässt sich von der dbox aus nicht mounten. Server: Permission denied. Irgendwelche Ideen? Die daemons laufen und an der exports (ging ja davor schon (zwar langsam)) hat sich nichts geändert.
Mein mount befehl sieht so aus:

Code: Alles auswählen

mount -t nfs -o rw,soft,udp,nolock,async,rsize=8192,wsize=8192 192.168.5.220:/tmp/harddisk/part2/mnt /mnt

Von der dbox aus kann ich auch den WL-HDD pingen.

My /etc/exports:

Code: Alles auswählen

/tmp/harddisk/part1/Movies/ 192.168.1.90(rw,async,no_root_squash)

My mount cmd on dbox:

Code: Alles auswählen

mount -t nfs -o rw,soft,udp,rsize=8192,wsize=8192,nolock,async 192.168.1.220:/tmp/harddisk/part1/Movies /var/movies

And a snippet from 'ps':

Code: Alles auswählen

   98 root     S    /tmp/harddisk/part1/tmp/telnetd -d -l /tmp/harddisk/part1/t
  135 1         S    ./portmap
  137 root     S    ./mountd
  139 root     S    ./unfsd
  145 root     S    ./nmbd -s /tmp/harddisk/part1/conf/usr/local/samba/lib/smb.
  147 root     S    ./smbd -s /tmp/harddisk/part1/conf/usr/local/samba/lib/smb.
  148 root     S    ./smbd -s /tmp/harddisk/part1/conf/usr/local/samba/lib/smb.
  155 root     S    /tmp/harddisk/part1/tmp/sh
  174 root     S    stupid-ftpd
  184 root     R    ./smbd -s /tmp/harddisk/part1/conf/usr/local/samba/lib/smb.
  187 root     R    ps

[JOCKYW2001]

Another significant benefit of the new 1.2.3.0 firmware: stutterfree playback even when the asus is in 100mb full duplex mode while connected to a switch!

[morgoth]

Ich habe es geschafft zu mounten. Komischerweise waren /tmp/harddisk/part1/conf/etc/exports und /etc/exports nicht gleich. Beide angeglichen und schon ging es mit dem mounten.
Habt ihr die Partitionen mit ext3 neu erstellt?
Also das essu-skript liefert bei der neuen Firmware richtig schlechte Werte bei mir (100mb auto - also wie er so startet)
8192, udp, async (100auto)
5953
4740

8192, udp, async (100half)
5885
6095

Zum Vergleich 1.1.2.8:
8192, udp, async (100half)
6918
7529

und am besten ( 1.1.2.8 ):
32768, udp, async (switch-100half)
8000, 8000, 8126
8000, 7876, 7757



Und bei der Wiedergabe einer Aufnahme kam es kurz zu Hängern.

Gibt es eine Möglichkeit init.sh beim Hochfahren ausführen zu lassen? Die Lösung über Web Manager ist ja zwar zum Testen ok aber nicht als Endzustand zu betrachten, oder?

[JOCKYW2001]

@morgoth: with ext2 performance is lousy, with ext3 it's incredible
go reformat your drive!

init.sh automatic start: not yet, but soon

[morgoth]

Aber wenn ich neu formatiere dann kann ich nicht ohne weiteres auf 1.1.2.8 zurück. Ich warte lieber bis 1.2.3.0 auch automatisch nach dem Hochfahren aufnahmebereit ist.