Timeshift bei IDE

[amigaherbie]

Ich muss mal dumm fragen: Was ist denn mit Timeshift gemeint?
Eine timerbasierende Aufnahme geht doch ...

Aufnahme und gleichzeitige zeitversetzte Wiedergabe (z.B. 20 min verspätet nach Hause gekommen) derselben.

[schnixx]

Ahhhh, alles klar.
Hätt ich auch selbst drauf kommen können
Danke.

[DBoxBaer]

Ich denke da muß man realistisch sein: das gibt die Hardware einfach nicht her.
...
Die Box kann mp3 gerade mit Ach und Krach abspielen mit dem 66 MHz Prozessor. In meinem Handy (xda mini) steckt dagegen ein 416 MHz starker Prozessor,
...

Dein Handy hat da eher Schwierigkeiten die MPEG2 Video Ströme zu dekodieren und anzuzeigen. Das macht die Dbox mit Links.
Warum? Weil es dafür Hardwareunterstützung gibt.

Für Timeshift muss die CPU gar nicht viel tun, jedenfalls nicht rechnen:
Rechtzeitig die Daten aus dem Avia (richtig?!) herausholen und gleichzeitig wieder welche einspeisen.

Um mal zu probieren, ob da grundsätzlich was ginge (insbesondere bei den hohen Datenraten wie ARD...): Mein alter Vorschlag: Die Daten kurz im RAM speichern und dann wieder einspeisen. Wenn das nicht geht, wird es auch auf die Platte nix... Möglich wäre das, aber die Rechenleistung wäre es nicht, sondern die Daten-"Kopierleistung".

Ciao,

DboxBaer

[Gorcon]

Möglich wäre das, aber die Rechenleistung wäre es nicht, sondern die Daten-"Kopierleistung".

Das ist es ja, theoretisch geht es ja nur die CPU ist ja beim aufnehmen schon bis zum Anschlag beschäftigt.
Wäre DMA möglich würde vieleicht Timshift machbar.
Mit meinem NAS geht das jedenfalls besser, aber da ist wiederum das Netzwerk das Nadelöhr.

Gruß Gorcon

[amigaherbie]

Möglich wäre das, aber die Rechenleistung wäre es nicht, sondern die Daten-"Kopierleistung".

Das ist es ja, theoretisch geht es ja nur die CPU ist ja beim aufnehmen schon bis zum Anschlag beschäftigt.
Gruß Gorcon

Definiere mal Anschlag! Ich hab mal eben probe aufgenommen:
bei einem harmlos Sender wie Deluxe Music war die CPU laut top zwischen 55 und 70 % idle. Bei ner harten Nuss wie dem ZDF dagegen ist die Idle Time nur noch zwischen 30 und 45 %. Also ich denke, daß bei 'Luschen'-Sendern mit niedriger Datenrate vielleicht doch noch Timeshift möglich wird.
Bei den Härtesendern wird es kaum möglich werden, außer es tun sich noch Wunder bei der Programmierung des IDE-IF auf. Aber nach der langen Reifezeit will ich daran nicht mehr recht glauben. Außer es findet sich vielleicht doch noch ein DMA Modus...

[Gorcon]

Bei ner harten Nuss wie dem ZDF dagegen ist die Idle Time nur noch zwischen 30 und 45 %

Dann mach das mal nachts bei ZDF und die Aufnahme kannst Du in die Tonne drücken. (Da ist die Bruttodatenrate weit über 8MBit/s. )

Gruß Gorcon

[amigaherbie]

Bei ner harten Nuss wie dem ZDF dagegen ist die Idle Time nur noch zwischen 30 und 45 %

Dann mach das mal nachts bei ZDF und die Aufnahme kannst Du in die Tonne drücken. (Da ist die Bruttodatenrate weit über 8MBit/s. )

Gruß Gorcon

Wow, jetzt bin ich beeindruckt! Hätte ich nicht erwartet. Nachdem Kika und Theaterkanal in der Sendepause waren, habe ich mal nen Ausschnitt von der Stunde des Jägers im ZDF aufgezeichnet. Die beobachteten Idle Zeiten in der Konsole waren meist nur noch bei 8 bis 10 %. Aber es gab auch 'Ausrutscher' von 5 bis 20 %. Ja, das kann man durchaus Vollauslastung nennen. An ein zusätzliches Abspielen ist bei diesen Werten tatsächlich nicht mehr zu denken. Allerdings muß man auch bemerken, daß die telnet Verbindung, aber vor allem top doch noch einiges an Prozessorzeit 'entleihen'.

Die Datenrate lag für den 3:21 min langen Schnippsel laut MPEG Streamclip im Mittel bei 8,03 MBit. Dazu noch die drei Tonspuren mit 256, 128 und 384 kBit. Da braucht man an Streamen über Ethernet wohl nicht mehr denken, oder? Die HDD Aufnahme hat soweit geklappt, einen superkurzen Bildfehler konnte ich aber doch entdecken. Ich werde wohl doch den Ringbuffer von 50 auf 80 erhöhen. Ansonsten stehen mir keine anderen Mittel zur Verfügung. Ich kann nur hoffen, daß dies und das nicht verwenden von telnet und top nun genügend CPU Zeit übriglassen, um tatsächlich eine perfekte Aufnahme hinzubekommen.

Ich bin eigentlich etwas enttäuscht, daß die Box praktisch eingeht vor dem ZDF. Es hieß doch mal, daß die Datenrate locker 2 MByte zur HDD betragen würde. Und jetzt liegt sie gerade mal nur knapp über dem 10 MBit Ethernetanschluß. Andrerseits hätte ich jetzt mit dem Streamen per Netzwerk wohl definitiv gar keine Chance mehr.

[Gorcon]

Da braucht man an Streamen über Ethernet wohl nicht mehr denken, oder?

Nein, zumindest ich habe das nie hinbekommen.
Ich hatte letztens James Bond - Golden Eye mit dem IDE Interface gestreamt, aber die Aufnahme hatte mehr wie 500 Fehler (laut ProjectX) jedesmal wenn die Datenrate über 8,5MBit/s ging, gabs kurze Aussetzer und kaputte Streams.

Ich habe allerdings noch das ext3 Format da ich es noch nicht geschafft habe meine 300GB Platte zu leeren und auf XFS umzustellen.

Gruß Gorcon

[palace]

@Gorcon, Du kannst Dir solange aber mit mountoptionen helfen... noatime, nodiratime, writeback (o.ä. betr. Journaling). Wurde hier schon mal besprochen... HWSections enabled (ucode 00F0)

[DBoxBaer]

Möglich wäre das, aber die Rechenleistung wäre es nicht, sondern die Daten-"Kopierleistung".

Das ist es ja, theoretisch geht es ja nur die CPU ist ja beim aufnehmen schon bis zum Anschlag beschäftigt.

Das ist ja der Grund für das Optimieren, bzw. die Suche nach dem Wo Optimieren:
_Warum_ geht die CPU beim Aufnehmen bis zum Anschlag?

Ich sehe nur drei mögliche Gründe:
a) Mein Treiber kopiert zu langsam.
b) Aus dem Avia lesen dauert zu lange
c) irgendwo anders wird Zeit "verbraten"

an a) lässt sich arbeiten: Messungen der Datenrate zur Platte mit dem Oszi zeigten Werte von weit über 2MB/s (eher so 6-8MB/s). Das ist aber der Wert der nur beim Kopieren der Daten in den Buffer der Platte auftaucht. Dazwischen waren immer lange Pausen. Für die Netto-Rate muss man natürlich diese Pause mitrechnen und schon sind wir bei 2-3MB/s (und aber auch nicht mehr bei a sondern bei c...) Ach ja, das war bei einem reinem "dd", also nix mit Recording mit 3MByte/s.

zu b) Wenn das so wäre, kann man aufhören weil es dann einfach nicht geht (oder nur mit ner weiteren Hardwareänderung :-), hätte da schon eine Idee...) Glaube ich aber nicht.
Darum ja die Frage nach einem Test, ohne Platte & Co, von mir aus direkt im Treiber: Rauskopieren ins RAM und versetzt Daten wieder reinkopieren. Generiert eine schöne Verzögerung, je nachdem wieviel RAM wir da verwenden. Schafft das die DBox auch bei höchsten Datenraten?! Ich denke schon, sonst würde ich nicht mehr daran arbeiten.
Der Test wäre aber trotzdem nett. Wenigstens mal ein kurzes Timeshift von 10s?! :-)

c) Sehr wahrscheinlich die eigentliche Ursache: Nur was könnte das sein?
Das Journaling wurde ja schon identifiziert.
Caches, die falsch (d.h. für uns ungünstig) arbeiten sind auch denkbar. Jedes doofe memcopy der Daten _kann_ schon die Ursache sein. Im schlimmsten Fall ist das Kopieren aus dem Avia ins RAM eigentlich schon sinnlos, wenn die Daten doch nur auf die Platte sollen...

Darum suche ich nun nach einem Profiler (siehe passender Thread) der endlich mal sagt, wo die Runtime wirklich verschwindet. Im ganzem System, und nicht nur in einem Teil davon. (Sonst misst man ja doch wieder an der falschen Stelle).

Vorher ist eine Aussage wie "geht nicht" oder "geht doch" einfach nicht sinnvoll weil nicht beweisbar.

Oder sieht das jemand anders?

Ciao,

DboxBaer

[PauleFoul]

@ DBoxBaer

Hast Du schon einmal beobachtet was passiert wenn man Daten übers
Netzwerk auf die Platte kopiert?
Die CPU wird dann um die 90 - 95% Prozent belastet und der freie Speicher schrumpft aus nahe Null. Da dies ein reprodizierbarer Vorgang
ist, könnte ich mir vorstellen dies als Test für weitere Optimierungen
zu verwenden. Im Prinzip sollten das Nadelöhr 10Mbit Netzwerk die
Platte/CPU/System ja nicht an die Grenzen bringen. Oder belastet die
Netzwerkoperation die CPU so stark?

Wenn Du eine Idee hast und mal einen Patch erstellst wo einfach mal
an einer "Schraube" gedreht wird könnten wir ja eunfach mal Vergleichs-
testes mit diese Methode fahren, oder?

EDIT:
Komisch ist auch, das wenn ich MP3-Song mit ca. 8MB auf HDD kopiere,
das RAM (Free) auch mit den 8MB belastet wird. Selbst nach dem
Kopiervorgang wird dieser Speicher nicht mehr freigegeben. Lösche ich
das File von der Platte wird auch der Speicher wieder komplett
freigegeben? Wird hier beim kopieren auf Platte so viel zwischengepuffert?


Gruß
____Paule

[Gorcon]

@Gorcon, Du kannst Dir solange aber mit mountoptionen helfen... noatime, nodiratime, writeback (o.ä. betr. Journaling). Wurde hier schon mal besprochen... HWSections enabled (ucode 00F0)

Das hatte ich schon mal ausprobiert ist aber eher genau das Gegenteil was ich haben will. Damit sind dann Aufnahmen von ARD und ZDF absolut unmöglich. Mit den Original einstellungen und internen ucode (HW_Sections disabled) läuft es deutlich besser.
Grund scheint die eingeschaltete Swap Partition zu sein, ohne die meine große Platte nicht richtig läuft. (kein HD Check möglich)

Gruß Gorcon

[DBoxBaer]

@ DBoxBaer

...
Wenn Du eine Idee hast und mal einen Patch erstellst wo einfach mal
an einer "Schraube" gedreht wird könnten wir ja eunfach mal Vergleichs-
testes mit diese Methode fahren, oder?
...

Wenn ich diese Idee haette waeren wir vielleicht schon fertig... Im Ernst: die Frage ist ja wo genau geht die Last verloren? Darum die Suche nach einem Profiler.
Mit etwas Glueck haben wir nur ne kleine Einstellung anzupassen:
Den RAM Verbrauch koennte ich mir mit irgendwelchen Caches erklaeren, aber eigentlich weiss ich auch nix: Und raten ist nicht sinnvoll fuers optimieren.
(Mein Treiber puffert natuerlich gar nichts, aber er ist nur ein kleines Rad im IDE Getriebe...)

Ansonsten ist deine Beschreibung ein Hinweis das es eben nicht die Kopierroutinen des IDE Treibers sind: Weil die aehnlich schnell beim Schreiben und Lesen sind. Und beim Lesen steigt die Last bei mir nicht so stark an, wobei man natuerlich auch da optimieren kann. (Und das ist wenigstens einfach reproduzierbar). Aber mach doch auch mal genau diesen Test: Kopier eine Datei VON der Platte uebers Netzwerk?!

Ciao,

DboxBaer

PS:
Tatsaechlich koennte es gut sein, das bei Linux der PIO Mode bei den IDE Devices vernachlaessigt wurde und nur DMA optimiert wurde. Das werden wir nicht "mal eben" grundsaetzlich verbessern, aber wenn was wenigstens fuers recorden (und wenn moeglich timeshift) geht, bin ich schon zufrieden.

[ChristophK]

EDIT:
Komisch ist auch, das wenn ich MP3-Song mit ca. 8MB auf HDD kopiere,
das RAM (Free) auch mit den 8MB belastet wird. Selbst nach dem
Kopiervorgang wird dieser Speicher nicht mehr freigegeben. Lösche ich
das File von der Platte wird auch der Speicher wieder komplett
freigegeben? Wird hier beim kopieren auf Platte so viel zwischengepuffert?

Das könnte auch einfach am Linux liegen - Linux verwendet RAM gern als zwischenspeicher für die platte, so dass beim nächsten lesezugriff einfach aus dem ram gelesen werden kann. Sobald aber eine anwendung speicher anfordert, wird der festplattencache verworfen, d.h. das system verschwendet keinen ram.

Gruß,
Christoph

[amigaherbie]

Ich habe gestern Nacht eine weitere Probeaufnahme gemacht beim ZDF. Einige Einstellungen habe ich diesbezüglich 'optimiert': den Ringbuffer hab ich auf 80 erhöht, den HDD Writecache abgeschaltet. Letzterer scheint bei mir für die ganzen seltsamen Symptome gesorgt zu haben (plötzlich komplett leergefegte HDD, andere Fehler im XFS FS). Nach dem hier angegebenen Link (http://forum.tuxbox-cvs.sourceforge.net ... 020#321020) ist der Writecache in Verbindung mit dem IDE IF in der dbox2 wohl grundsätzlich abzuschalten. Denn Abstürze sind wohl darauf nie zu vermeiden auf der Box, und diese können einem dann den ganzen Tag vermiesen. Als weiteren Änderungspunkt benutzte ich die hw-sections mit der internen ucode.

Das Ergebnis faszinierte:
die beobachtete Idle Time mit top steigerte sich von den oben angegebenen 8-10 % auf durchschnittlich 25%, was eigentlich nur den hwsections zu verdanken ist. Respekt! Damit sollte nun immer genug Luft sein für Aufnahmen beim ZDF und der ARD.

Ein weiterer Test bezüglich des Timeshifts:
ein gerade laufendes Musikvideo (1.) bei Deluxe Music wurde aufgezeichnet, dann spielte ich währenddessen ein bereits früher aufgezeichnetes Musikvideo (2.) ab. Das aufgezeichnete Ergebnis verwirrte mich dann allerdings! Man sah in der Aufzeichnung das Musikvideo (1.) bis zu dem Zeitpunkt, als ich die Wiedergabe von Video (2.) startete. Dann sah man im weiteren Verlauf der Aufzeichnung eine perfekte Kopie von (2.). Also eine perfekte Schleife! Gar nicht gut, wenn man Timeshift verwenden will, denn man zeichnet bei der Wiedergabe des bereits aufgezeichneten eben genau dieses wieder auf.
Die Performance dabei war (bei diesem 'Luschen'sender) allerdings grandios. Top meldete mir im Mittel etwa 70 % (+-10 %) Idle Time zurück bei gleichzeitiger Aufnahme und Wiedergabe. Nur ist eben die Aufzeichnung nicht das Time Shift, was wir gebrauchen können...

[PT-1]

@Amigaherbie

Koenntest du screenshots von deinen Settings posten ?

[DBoxBaer]

Das könnte auch einfach am Linux liegen - Linux verwendet RAM gern als zwischenspeicher für die platte, so dass beim nächsten lesezugriff einfach aus dem ram gelesen werden kann. Sobald aber eine anwendung speicher anfordert, wird der festplattencache verworfen, d.h. das system verschwendet keinen ram.

Das macht natürlich nicht nur Linux so. Tatsächlich könnte das aber beim Recording am Besten komplett vermieden werden: Weil das Kopieren der Daten von RAM in RAM auch viel CPU benötigt... Da das RAM beim Recorden sehr wahrscheinlich :-) nicht reicht, um die benötigte Datenmenge zu halten, kann man es aber auch gleich (immer) weglassen:
Bei Timeshift könnte es natürlich sein, das man nur "kurz" hinterherhinkt: Dann wären die Daten ganz toll im Cache und müssten nicht von der Platte kommen: Super, voll was gespart. Doch Timeshift soll ja genauso auch für 20min Delay funktionieren wie bei 5sec Delay, und dann greift der Cache wohl eher nicht mehr...

Ciao,

DboxBaer

Ansonsten:
Zeigt top nicht auch an wieviel RAM für den Cache verwendet wird?

[ChristophK]

ja, das stimmt natürlich, nur wie bringt man sowas dem kernel bei? v.a. weil das verhalten ja eigentlich nur bei der aufnahme unerwünscht ist...

doch, ich glaub der buffers - eintrag in top sagt, wieviel für dateisystem-puffer verwendet wird.

gruß,
christoph

[amigaherbie]

@Amigaherbie

Koenntest du screenshots von deinen Settings posten ?

Bitte sehr! Vielleicht hilft es ja auch anderen bei der Jagd nach perfekten Aufnahmen.

Aufnahme 1:


Aufnahme2:


Tonspuren:


Direktaufnahme:


HDD Einstellungen:


Treibereinstellungen:


Diverse Einstellungen:


Movieplayer:


ucodes:


Imageinfo:


ZDF-Aufnahme (ARD-Mittagsmagazin):


Zu letztem Bild ist zu sagen:
Kurze Aufnahme von 2,5 min Länge mittags aus dem ZDF (es lief gerade ARD-Mittagsmagazin). Als mittlere Datenrate wurden nur 5,2 MBit/s angezeigt, sowie natürlich die drei Tonspuren mit 256, 128 und 384 kBit/s. Daher auch die hohe Idle Time. Diese schwankte bei 40 % (+/- 10 %). Nachts ist es bei den höheren Datenraten wie beschrieben etwas stressiger für die Box. Aufnahme ist bis auf den Anfang fehlerfrei verlaufen. Da ist die Box extrem stark belastet, und ein Wegdrücken der Neutrino Infoeinblendungen (wie ich es tat) mit Home kann schon zuviel des guten sein. Nach dem holprigen Start läuft es aber wie geschmiert.

[PauleFoul]

Das macht natürlich nicht nur Linux so. Tatsächlich könnte das aber beim Recording am Besten komplett vermieden werden: Weil das Kopieren der Daten von RAM in RAM auch viel CPU benötigt... Da das RAM beim Recorden sehr wahrscheinlich nicht reicht, um die benötigte Datenmenge zu halten, kann man es aber auch gleich (immer) weglassen:
Bei Timeshift könnte es natürlich sein, das man nur "kurz" hinterherhinkt: Dann wären die Daten ganz toll im Cache und müssten nicht von der Platte kommen: Super, voll was gespart. Doch Timeshift soll ja genauso auch für 20min Delay funktionieren wie bei 5sec Delay, und dann greift der Cache wohl eher nicht mehr...

Ciao,

DboxBaer

Ansonsten:
Zeigt top nicht auch an wieviel RAM für den Cache verwendet wird?

Ich denke auch das es ein Problem seien dürfte, wenn das System die
ganze Zeit damit beschäftigt ist Daten ins RAM zu schreiben/aufzulesen
und dies wieder freizugeben, da ja gleich schon wieder neue kommen.

Für die IDE-Anwendung ist diese Art der "Zwischenpufferung" wohl
wenig sinnvoll.
Gibt es denn eine Möglichkeit dieses Puffern abzuschalten um
Vergleichstests fahren zu können?

EDIT:
Also es wird der "Cached" Wert größer wenn man Dateien kopiert.
Bei größeren Dateien gerät der Vorgang alle paar MB ins Stocken
und die CPU-Last erhöht sich kurz. Meine das kann auch durch die
Speicherverwaltung (schreiben/freigeben) kommen, oder?

Beim download der Dateien werden die Daten genauso gecached.

Gruß
____Paule

[palace]

Man kann die Buffer komplett abschalten - Riker hatte mal ein Testimage gemacht mit dem ich experimentieren konnte (bdflush, kupdated) - das wirkt sich aus, wie synchrones Schreiben.
Oder mit der Option Sync mounten.
Hier kann man auch mal messen, wie sich die Geschwindigkeit ändert.
In wie weit da die daemons noch (unnötig) mitarbeiten weiss ich nicht...

Wenn ich dazu komme, werde ich mal meine HDD leer räumen und "dd" direkt auf die Partition probieren - wenn das denn zugelassen wird.

dd oder sonstige Dateioperationen gehen über die Caches.
Mimmt man ohne sync auf, werden daten in grösseren Blöcken geschrieben:
Schreiben - Pause - Schreiben
In dieser Zeit werden die Daten nicht mehr schnell genug beim AVIA abgeholt.

Mich würde doch sehr interessieren, wie das beim 2.6.17(?) oder gar 20er Kernel läuft, soll doch das Interrupt Händlig ordentlich entschlackt worden sein. Ob das in der 2.6.15er Yadd auch schon so ist, weiss ich nicht.
Vielleicht kann das einer mal checken, der die 2.6er Yadd am Laufen hat...

Ausserdem scheint es noch Effekte mit dem Write Cache der HDD zu geben, der eigentlich helfen sollte.

Des weiteren bin ich nicht Sicher, ob die Daten an der richtigen Stelle abgeholt werden, denn ich verstehe nicht, wieso eine Schleife bei dem Timeshiftversuchen entsteht - über Netz (streamts + MP über NFS) ging das durchaus!

@DBoxBaer: Was ist denn aus Deinem DMA Ansatz geworden?

[DBoxBaer]

@DBoxBaer: Was ist denn aus Deinem DMA Ansatz geworden?

habe auf die Frage schon gewartet:
Nichts, im Sinne von nichts passiert. Weil es sich ja auch "nur" um eine Optimierung handelt. Und Optimieren sollte man dort, wo es notwendig ist, und nicht dort, wo man es kann :-)

Tatsächlich muss ich aus dieser Sicht sagen, das der CPLD in der heutigen Form ein Fehler ist, da ich schon im Februar 2006 einen hatte, der im Prinzip ging, mir nur zu langsam war :-) Ok, nicht der CPLD ist der Fehler, sondern das ich ohne detailierte Messungen einfach ein neues Design angefangen habe war der Fehler. Diesen will ich nicht noch einmal begehen und mit DMA anfangen, auch wenn man das vielleicht gar nicht muss...
Ich optimiere so ja auch, nur eine andere ebenfalls _sehr_ begrenzte Resource: Entwicklungszeit :-)))

Abgesehen davon:
Es würde eine Firmwareänderung kosten, die ein Risiko darstellt und
es bringt nicht unbedingt eine echte Verbesserung der Situation (IDMA ist laut news-groups sau langsam verglichen mit der CPU...)

Ciao,

DboxBaer