Experiment: Direkt in eine Partition schreiben

[Charles Darwin jun.]

@Charles Darwin jun.:
Ich mach ja bei diesem Thread und seinem Testzweck nicht mit. Aber hier mal nen Ausschnitt von der Aufnahme der ARD Sportschau mit beiden Tonspuren:

Hab auch ARD Sendungen bei denen der Systemload so gering ist...aber ich wollte ja eine Graphik einer Problemsendung zeigen

Was ist denn jetzt eigentlich die Erkenntnis, wenn wir sehen, dass
das direktschreiben nur unwesentlich weniger CPU-Last erzeugt als
EXT3 aber mehr als XFS?? Wie soll mal denn das verstehen?

Also die ~5% weniger beim Direktschreiben hab ich im Vergleich zu xfs gemessen...

[amigaherbie]

Ich habe heute Nacht nun tatsächlich den Film Blutiges Geld im ZDF aufgenommen. Er ist, soweit ich jetzt einige Szenen beobachtet habe, ohne Fehler aufgenommen worden. Das sagt MPEG-Streamclip dazu:

=====================================
Stream: Blutiges_Geld.ts
Path: E:\dbox2\TS\Blutiges_Geld.ts
Type: MPEG transport stream

Duration: 1:30:52
Data Size: 5.36 GB
Bit Rate: 8.45 Mbps

Video Tracks:
110 MPEG-2, 720 x 576, 4:3, 25 fps, 15.00 Mbps, upper field first

Audio Tracks:
120 MP2 stereo, 48 kHz, 256 kbps
121 MP2 mono, 48 kHz, 128 kbps
125 AC3 2/0, 48 kHz, 384 kbps

Stream Files:
Blutiges_Geld.ts (5.36 GB)
=====================================

Wie man sehen kann, ist die Bitrate beachtlich gewesen! Dennoch fehlerfrei. Ich benutzte dafür xfs und (ganz wichtig!) den HDD Cache. Ohne das letztere, setzt schlichtweg die Festplatte das Limit bei mir! Und dabei ist es eine aktuelle Samsung 2514N, also kein lahmes Teil aus der Grabbelkiste.

Wenn mir noch jemand sagt, wie man den Stream auf Fehler prüfen kann in Project X, dann mach ich noch das. PVAstrumento meinte jedenfalls dazu:

=====================================
==SCANNING==
Input: E:\dbox2\TS\Blutiges_Geld.ts
Closing starting GOP.
Aiming for sync at 04:32:03.973
Cutting audio.
Audio stream 1 now starts at 04:32:03.974
AC3 stream 1 now starts at 04:32:03.962
Video stream 1 now starts at 04:32:03.973
[ Found a GOP with more than 15 pics.
This is not DVD compliant, but many players accept it.
See summary for total number at end. ]
ALERT> Temporal structure wrong in GOP at 06:02:56.293.
=====================================

Die 'bemängelte' GOP befindet sich (nach dem Herausschnitt des Films aus der Gesamtaufnahme) am Ende des Streams (04:32 [Beginn des Films] + 01:30 [Dauer des Films]), so daß ich also sagen kann, daß die Aufnahme tatsächlich fehlerfrei gelungen ist. Von daher denke ich, liegt das Optimierungspotential bereits in den vorhandenen Möglichkeiten in Neutrino, und nicht im Weglassen des Filesystems.

[DrStoned]

Wenn mir noch jemand sagt, wie man den Stream auf Fehler prüfen kann in Project X, dann mach ich noch das.

Einfach den Stream unter PX demuxxen, dann erstellt er das Log.

Greetz von DrStoned

[amigaherbie]

So, bitte sehr! Das Log von ProjectX:

-> Input File 0: 'E:\dbox2\TS\Blutiges_Geld.ts' (5.757.347.908 bytes)
-> Filetype is TS (generic PES Container)
-> demux
-> no PMT found (at a short scan)
ok> PID 0x6E has PES-ID 0xE0 (MPEG Video) (0 #1)
ok> PID 0x7D has PES-ID 0xBD (private stream 1) (23312 #125)
ok> PID 0x79 has PES-ID 0xC1 (MPEG Audio) (59784 #319)
ok> PID 0x78 has PES-ID 0xC0 (MPEG Audio) (74448 #397)
-> video basics: 720*576 @ 25fps @ 0.6735 (4:3) @ 15000000bps, vbvBuffer 112
-> starting export of video data @ GOP# 0
!> dropping useless B-Frames @ GOP# 0 / new Timecode 00:00:00.000
packs: 30624191 100% 5757347908

-> Video: fr/ ct/ 1p/ cg/ og/ dg -> 136306/ 1/ 0/ 11262/ 0/ 0
-> Video length: 136306 frames @ 01:30:52.240
-> GOP summary: min. 18, max. 36 fields; contains interlaced frames
-> avg. nom. bitrate 7472825bps (min/max: 4700800/8128400)
-> set first sequenceheader bitrate to 8128400bps
---> new File: E:\dbox2\TS\Blutiges_Geld.m2v

--> AC-3/DTS Audio on PID 0x7D
-> check CRC of AC-3 / MPEG-Audio L1,2
-> delete CRC in MPEG-Audio Layer1,2
-> add frames
Audio PTS: first packet 04:32:03.706, last packet 06:02:56.186
Video PTS: start 1.GOP 04:32:03.973, end last GOP 06:02:56.213
-> adjusting audio at video-timeline
-> src_audio: AC-3, CM, 2/0(2.0), dn -27dB, 48000Hz, 384kbps @ 00:00:00.000
audio frames: wri/pre/skip/ins/add 170382/0/0/0/0 @ 01:30:52.224 ...
---> new File: 'E:\dbox2\TS\Blutiges_Geld.ac3'

--> MPEG Audio (0xC1) on PID 0x79
-> check CRC of AC-3 / MPEG-Audio L1,2
-> delete CRC in MPEG-Audio Layer1,2
-> add frames
Audio PTS: first packet 04:32:03.782, last packet 06:02:56.342
Video PTS: start 1.GOP 04:32:03.973, end last GOP 06:02:56.213
-> adjusting audio at video-timeline
-> src_audio: MPEG-1, Layer2, 48000Hz, mono, 128kbps, CRC @ 00:00:00.000
audio frames: wri/pre/skip/ins/add 227177/0/0/0/0 @ 01:30:52.248 ...
---> new File: 'E:\dbox2\TS\Blutiges_Geld.mp2'

--> MPEG Audio (0xC0) on PID 0x78
-> check CRC of AC-3 / MPEG-Audio L1,2
-> delete CRC in MPEG-Audio Layer1,2
-> add frames
Audio PTS: first packet 04:32:03.805, last packet 06:02:56.245
Video PTS: start 1.GOP 04:32:03.973, end last GOP 06:02:56.213
-> adjusting audio at video-timeline
-> src_audio: MPEG-1, Layer2, 48000Hz, stereo, 256kbps, CRC @ 00:00:00.000
audio frames: wri/pre/skip/ins/add 227177/0/0/0/0 @ 01:30:52.248 ...
---> new File: 'E:\dbox2\TS\Blutiges_Geld[1].mp2'

summary of created media files:
.Video (m2v): 136306 Frames 01:30:52.240 'E:\dbox2\TS\Blutiges_Geld.m2v'
Audio 0 (ac3): 170382 Frames 01:30:52.224 0/0/0/0 'E:\dbox2\TS\Blutiges_Geld.ac3'
Audio 1 (mp2): 227177 Frames 01:30:52.248 0/0/0/0 'E:\dbox2\TS\Blutiges_Geld.mp2'
Audio 2 (mp2): 227177 Frames 01:30:52.248 0/0/0/0 'E:\dbox2\TS\Blutiges_Geld[1].mp2'
=> 5.616.369.164 bytes written...
-> we have 1 warnings/errors.

Wie bereits geschrieben: ich habe den Film mit MPEG Streamclip aus dem Gesamtstream herausgeschnitten. Daher die möglichen Fehler an Anfang und Ende des Films.
Ich kann jedenfalls keine Fehler durch die hohe Bitrate im ZDF beobachten in diesem Log. Also läuft die Box DEFINITIV selbst mit so hochratigen Übertragungen. Es ist also mühselige Optimierungsarbeit bei einem selbst in Neutrino gefragt, wenn man alles aus der alten Box herausholen will!

[T-Nec]

und (ganz wichtig!) den HDD Cache.

Ich gehe mal davon aus du meinst das:
/sbin/hdparm -W1 /dev/ide/host0/bus0/target0/lun0/disc
Oder?

War nicht die allgemeine Meinung OHNE Cache wär besser??????

[DBoxBaer]

und (ganz wichtig!) den HDD Cache.

Ich gehe mal davon aus du meinst das:
/sbin/hdparm -W1 /dev/ide/host0/bus0/target0/lun0/disc
Oder?

War nicht die allgemeine Meinung OHNE Cache wär besser??????

Ich werf mal noch ne Hardware Varianten Kombination ins rennen:
Die Platte!
Da wir PIO Modes verwenden, kann ich mir gut vorstellen, das manche Platten mit Cache schneller sind (dafuer ist er ja irgendwie da), aber manche die Kombination PIO und Cache in ihrer Firmware, sagen wir mal "nicht direkt " optimiert haben, ist das dann vielleichtlangsamer.

Manche Platten schnell mit PIO und Cache, manche nicht.
Sowas sollte sich aber ueber einen "dd" Test rausfinden lassen.
Und theoretisch auch an einem PC.

Ansonsten ist der Write-Cache gefaehrlich, weil das Betriebssystem nicht sicherstellen kann, das wirklich wichtige Daten auch auf der Platte sind wenn z.B. die Box abstuerzt oder abgeschaltet wird. Wirklich wichtig sind die Filesystem Strukturen. Sind die kaputt, ist alles weg.

Auf der anderen Seite ist ein 8MB grosser Cache in der Platte so gross wie ein Viertel das ganze RAM der Platte, also auf keinen Fall etwas, das man ohne Nachdenken einfach ignorieren sollte...

Ciao,

DboxBaer

[T-Nec]

Und was ist wenn man auch SWAP nutzt ?
War es nicht so daß dann der Cache auch besser AN sein sollte?

[christian1980nrw]

während die nokia wie berichtet teils erhebliche probleme beim streamen hat (abbrüche, hohe cpu-last) zeigt sich die philips völlig unproblematisch - letztere streamt alles völlig problemlos, ARD u. ZDF inklusive.
hierbei fällt u.a. auf, dass während die nokia aus dem letzten loch pfeift, die philips erheblich mehr reserven bietet.

Wie sind in diesem Zusammenhang eigentlich Sagem-Boxen einzuschätzen? Sind die von der Performance eher der Nokia oder der Philips zuzuordnen?

Danke!
Christian

[amigaherbie]

Der Cache ist gefährlich! Punkt aus. Dennoch kann ich aus Erfahrung gewisse Risiken umschiffen, und erhalte dadurch eine deutliche Performancesteigerung und eben eine deutliche weniger ratternde Festplatte bei der Aufzeichnung.

Swap ist bei mir auch immer an, 64 MB. Ich überlege aber, mir einen IDE auf Compact Flash Adapter zu holen und den Swap dorthin auszulagern. Der wäre immer verfügbar, sprich, die HDD würde nicht wegen irgendwelchen 'Fürzen' aufwachen (wie z.B. manchmal ein simpler Kanalwechsel). Hat sowas schon mal jemand gemacht? Adapter gibts hinterhergeworfen bei ebay oder etwas teurer bei pearl:
http://www.pearl.de/productchoice_redir ... y=ide%20cf

Ich könnte mir gut vorstellen, daß damit der zweite Anschluß am IDE IF bestens genutzt werden könnte. Eventuell könnte man dort auch das EPG Verzeichnis auslagern.

@DBoxBaer:
Du schreibst immer was vom PIO Modus. Ich habe heute mal mit hdparm nachgesehen, was meine HDD an Infos rausrückt, und das war mit dabei:
===============================================
~ > hdparm -i /dev/ide/host0/bus0/target0/lun0/disc

/dev/ide/host0/bus0/target0/lun0/disc:

Model=SAMSUNG SP2514N, FwRev=VF100-41, SerialNo=S08BJ1VL700404
Config={ Fixed }
RawCHS=16383/16/63, TrkSize=34902, SectSize=554, ECCbytes=4
BuffType=DualPortCache, BuffSize=8192kB, MaxMultSect=16, MultSect=16
CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=268435455
IORDY=on/off, tPIO={min:240,w/IORDY:120}, tDMA={min:120,rec:120}
PIO modes: pio0 pio1 pio2 pio3 pio4
DMA modes: mdma0 mdma1 *mdma2
UDMA modes: udma0 udma1 udma2
AdvancedPM=no WriteCache=enabled
Drive conforms to: unknown: ATA/ATAPI-1 ATA/ATAPI-2 ATA/ATAPI-3 ATA/ATAPI-4 AT
A/ATAPI-5 ATA/ATAPI-6 ATA/ATAPI-7

* signifies the current active mode
===============================================

Mir sieht das vielmehr nach Verwendung von MultiwordDMA aus als nach PIO. Was denkst du?

[majo]

Leider ging heute Nacht meine Test-dBox 1h:14min vor, so dass die Aufnahme zu frueh begann.
Ansonsten sind ZDF_Blutiges_Geld_2007-01-21_011001.001.ts und ZDF_Blutiges_Geld_2007-01-21_011001.002.ts ohne Befund.

ProjectX 0.90.4.00 (30.03.2006):

-> Video: fr/ ct/ 1p/ cg/ og/ dg -> 179920/ 1/ 0/ 14844/ 0/ 0
-> Videolänge: 179920 Bilder in 01:59:56.800
-> GOP Zusammenfassung: min. 18, max. 36 Felder; enthält Halbbilder
-> durchschnittl. nom. Bitrate 7197969bps (min/max: 4046000/8098400)
-> setze Bitrate im ersten Sequenzkopf auf 8098400bps

(die gegenueber amigaherbie etwas geringer max. Bitrate resultiert wohl aus dem zeitlichen Versatz)

Interessant ist eventuell meine fehlerfreie "Das_Erste_Jurassic_Park_2006-12-09_220502.001.ts" und "Das_Erste_Jurassic_Park_2006-12-09_220502.002.ts" Aufnahme.
Dort sind die Werte:
-> Video: fr/ ct/ 1p/ cg/ og/ dg -> 187402/ 1/ 0/ 15617/ 0/ 0
-> Videolänge: 187402 Bilder in 02:04:56.080
-> GOP Zusammenfassung: min. 12, max. 36 Felder; enthält Halbbilder
-> durchschnittl. nom. Bitrate 5636794bps (min/max: 2607200/10702000)
-> setze Bitrate im ersten Sequenzkopf auf 9000000bps

Box: Sagem 1xI, SAT
Image: JtG Snapshot vom 12.11.2006
Filesystem: xfs
Festplatte: Fujitsu MHT2040AT PL

Gruss
Majo

[DBoxBaer]

@DBoxBaer:
Du schreibst immer was vom PIO Modus. Ich habe heute mal mit hdparm nachgesehen, was meine HDD an Infos rausrückt, und das war mit dabei:
....
Mir sieht das vielmehr nach Verwendung von MultiwordDMA aus als nach PIO. Was denkst du?

Da muss ich Dich enttaeuschen.
Selbstverstaendlich unterstuetzt die Platte DMA: welche auch nicht :-)

Nur unsere DBox leider nicht (Das "bisher" spare ich mir jetzt, denn die Chancen dafuer sehe ich eher klein).
Der Grund ist, das der CPLD (als auch der Treiber) einfach kein DMA kann.

Aber eins haette ich noch in der Hinterhand: Der Treiber verwendet das programmierbare Timing im CPLD noch nicht. Nur 15ns werden wohl auch keine Wunder bewirken.

Ciao,

DboxBaer

[amigaherbie]

@DBoxBaer:
mir ist schon klar, das etwas nicht tun kann, was nicht da ist. In diesem Fall also DMA vom IDE IF. Aber wieso meldet mir hdparm mdma2 als benutzten aktiven Modus zurück? Normalerweise müßte es doch stattdessen einen PIO Modus entdecken und anzeigen?

[T-Nec]

hdparm meldet auch cache als AN obwohl per -W0 abgeschaltet...

[CarstenW]

Das mit dem Cache hatte ich auch bei meine Notebook Platte, hdparm -W0 hatte sie ohne zu meckern akzeptiert, eine Abfrage mit hdparm war es immer noch an. (Toshiba Pladde)

Carsten

[PT-1]

@all

Ich wollte jetzt nur mal kurz fragen ob es jemand getestet hat und ob es etwas gebracht hat ?

Ich habe jetzt mein IDE IF erhalten und plane es eventuell heute einzubauen und koennte dann mal testen ;-)

PT-1

[doktorknow]

Ich würde auch gerne bei den Tests mithelfen.

Ich nutze allerdings das JTG-Image und bei dem ist laut df -h nur 1.4 MB auf /var frei. Gibt es eine Möglichkeit Euch dennoch zu unterstützen?
Evtl. kleinere neutrino.null erstellen?

Meine Platte kann ich entleeren - das ist nicht das Problem ...
MfG
doktorknow

[robspr1]

@T-Nec und CarstenW

mit welchem Befehl fragt ihr das ab, denn

hdparm -I /dev/discs/disc0/disc liefert den aktuellen Stand, während

hdparm -i /dev/discs/disc0/disc euch die Startupparameter zeigt

[Tommy]

Ich würde auch gerne bei den Tests mithelfen.

Ich nutze allerdings das JTG-Image und bei dem ist laut df -h nur 1.4 MB auf /var frei. Gibt es eine Möglichkeit Euch dennoch zu unterstützen?
Evtl. kleinere neutrino.null erstellen?

Meine Platte kann ich entleeren - das ist nicht das Problem ...
MfG
doktorknow

du kannst die neutrino nach /tmp kopieren
Dann

Code: Alles auswählen

killall start_neutrino
killall neutrino
/tmp/neutrino

killall start_neutrino verhindert das nach dem killen von neutrino die Box runtergefahren wird

[palace]

Was spricht dagegen, das test- neutrino (executable) auf die Platte zu legen?
muss nur die start_neutrino entsprechend anpassen...

Zum Topic: Was mich noch stört, ist, dass die Aufnahme noch immer "innerhalb" von neutrino läuft...
und nicht seperat, wie z.B. streamts oder streampes.

ein "recordts [pids] > /dev/null" oder ".... > /mnt/mountpoint" würde bessere Vergleiche zulassen und neutrino müsste garnicht gestartet sein.

Hat jemand mal die Aufnahme auf "/dev/null" getestet?

btw: @Günther: Du hattest doch mal die Ringbuffer abschaltbar gemacht - wurde das je eingecheckt?

[Tommy]

Was spricht dagegen, das test- neutrino (executable) auf die Platte zu legen?
muss nur die start_neutrino entsprechend anpassen...

Das geht - Aber nur für die /dev/null Variante. Beim schreiben direkt in die Partition wird die Dateistruktur einschließlich der neutrino zerballert

[palace]

Einen weiteren Test möchte ich für die jenigen vorschlagen, die NFS und IDE nutzen: Dort ebenfalls mal die CPU Last vergleichen auch zum Streamen (streamts).

Ist die Last auf Avia 600 (Nokia) da auch schon bezeichnend höher?

[Tommy]

Zum Topic: Was mich noch stört, ist, dass die Aufnahme noch immer "innerhalb" von neutrino läuft...
und nicht seperat, wie z.B. streamts oder streampes.

ein "recordts [pids] > /dev/null" oder ".... > /mnt/mountpoint" würde bessere Vergleiche zulassen und neutrino müsste garnicht gestartet sein.

Hat jemand mal die Aufnahme auf "/dev/null" getestet?

Zumindest würde neutrino nicht mehr so "zäh" reagieren wärend der Aufnahme - stelle ich mir zumindest vor. Ich weiß ja nicht ob gmo18t noch irgendwo hier rumschwirrt?! Er ist so ein streaming Guru (s. Waberqueue)

[PT-1]

@Dboxbaer oder anyone

Habe mein IDE IF jetzt in der Box und eine 250GB Platte ready !!

Soll ich das jetzt mal testen oder wurde es schon getestet und fuer nicht funktionierend befunden ?

PT-1

[palace]

@Dboxbaer oder anyone

Habe mein IDE IF jetzt in der Box und eine 250GB Platte ready !!

Soll ich das jetzt mal testen oder wurde es schon getestet und fuer nicht funktionierend befunden ?

PT-1

Naja, mit Angabe von Box/Avia einmal Streamen, auf HD aufnehmen, direkt in die Partition schreiben, nach /dev/null schreiben.

Bisher scheint es, als nimmt das Filesystem nur ca 5% (staun) CPU...