Hilfe gesucht zu korrektem Abmelden der HDD

Hallo,

ich wende mich insbesondere an die "ext2" Benutzer, die das EPG auf der HDD ablegen:

Unter mir (noch) nicht bekannten Umständen wird die Fesplatte nicht unmounted.
Habe heute Nacht verschiedene Einstellungen getestet und jeweils DBOX/Neu Starten benutzt (dabei habe ich auch schön meinen fsck testen können)...

EPG Speichern ist auf an, d.H. beim Runterfahren läuft die Platte an und das EPG wird geschrieben.

Da ich vorher schon Probleme hatte, habe ich am Ende der start_neutrino (vor if -e .reboot) ein umount /hdd eingetragen (mittlerweile sleep 5 && umount /hdd && sleep 5).

Leider:

/dev/ide/host0/bus0/target0/lun0/part2 was not cleanly unmounted, check forced.
This doesn't bode well, but we'll try to go on...
Pass 1: Checking inodes, blocks, and sizes
Unrecoverable Error: Found 0 bad blocks starting at block number: 650536154
Unrecoverable Error: Found 1 bad blocks starting at block number: 1229987186
Unrecoverable Error: Found 2 bad blocks starting at block number: 2562568938
Unrecoverable Error: Found 3 bad blocks starting at block number: 292862780
Unrecoverable Error: Found 4 bad blocks starting at block number: 2049487880
Unrecoverable Error: Found 5 bad blocks starting at block number: 4163274523
Unrecoverable Error: Found 6 bad blocks starting at block number: 3384322497
Unrecoverable Error: Found 7 bad blocks starting at block number: 916994754
Unrecoverable Error: Found 8 bad blocks starting at block number: 4270188822
Unrecoverable Error: Found 9 bad blocks starting at block number: 4097804220
Unrecoverable Error: Found 10 bad blocks starting at block number: 526856814
Unrecoverable Error: Found 11 bad blocks starting at block number: 3496272609
Unrecoverable Error: Found -1 bad blocks starting at block number: 195427744
Unrecoverable Error: Found -2 bad blocks starting at block number: 1528998537
Unrecoverable Error: Found -3 bad blocks starting at block number: 3953205095
Error while iterating over blocks in inode 1: No anode

Hier hilft nur noch mkfs...
Ich suche nun eine Möglichkeit, die HDD SICHER abmelden zu können und möchte darauf hinweisen, dass ein Stecker ziehen / Stromausfall, whatever mit ext2 sicher kein Spass ist.

Ferner wäre die Partitionierung zu überdenken, z.B. eine ganz kleine für das EPG, eine grosse für die Filme, eine als Archiv (Hörbücher usw).
Mir scheint, DrStoned ist da an nem HD Init Skript am Zaubern...

Denn die Daten übers Netz zu retten ist kein Spass!!!
Und ich "fürchte", dass ich mittelfristig auf die DrStoned variante mit den Platteneischüben ausweichen werde..

Ich hab das Feature mit dem EPG auf Platte speichern wieder ausgestellt.

Hatte schon eigenartige Probleme, wie auf meiner Platte noch ext3 drauf war...

...die Box hat sich ewig lange nicht ausgeschalten...kurz kam dann wieder der Originalton für 2s durch...und dann war erst Ruhe

...verwende jetzt ext2 und den EPG lass ich auf Standard.

Ich empfehle dir natürlich meine Einbauvariante d. 2.5er Wechselrahmens

http://mitglied.lycos.de/dbox3/

Charles Darwin jun. hat geschrieben:Ich hab das Feature mit dem EPG auf Platte speichern wieder ausgestellt.
Hatte schon eigenartige Probleme, wie auf meiner Platte noch ext3 drauf war...
...die Box hat sich ewig lange nicht ausgeschalten...kurz kam dann wieder der Originalton für 2s durch...und dann war erst Ruhe

Na klar dauert das Runterfahren länger: Das EPG wird ja auf die Platte geschrieben

und das Neutrinobild liegt nur über dem Fernsehbild und der Ton wird auf "mute" geschaltet.

Nur abschalten löst nicht das Problem ansich, dass Dir u.U. das Filesystem um die Ohren fliegt, wenn die HD nicht ordentlich abgemeldet wird.

Aso...dachte, dass das "nicht ordentlich abmelden" nur dann passiert, wenn man noch mal schnell Daten auf der Platte ablegt...wie z.B. EPG-Dateien...

...bisher hab ich keine Probleme mit ext2...hab aber auch nicht viele Files auf der HD...

...weil die ARD-Dateien lösch ich immer wutentbrannt

wahrscheinlich lässt sich das Zeitfenster, in dem das Dateisystem anfällig ist, noch deutlich kleiner machen:

Mit den mount Optionen:
-noatime (kein Updaten des Zeitstempels für den letzten (auch Lese-!) Zugriff)
-dirsync (Verzeichnisinfo jeweils sofort schreiben)

Durch Read-Only Mounten, solange/sobald nichts geschrieben wird:
mount -o remount,ro,noatime ...
mount -o remount,rw,noatime ...

Oder notfalls durch gezielten Aufruf von "sync" oder "sync &"

Oder mein Favorit (ohne es selbst getestet zu haben/es testen zu können) durch das Ändern der Intervalle mit dem die Verzeichnis- und Dateidaten über kupdated geschrieben werden. Auf SuSE 10.0 mit 2.6.x durch Schreiben in die Dateien /proc/sys/vm/dirty_expire_centisecs und dirty_writeback_centisecs.

Vielleicht sollten für die kupdated Intervalle auf der DBOX auch andere Defaults als die 30 bzw. 5 Sekunden in den Kernel einkompiliert werden (linux-2.4.x/fs/buffer.c und linux-2.4.x/Documentation/sysctl/vm.txt). Für das Schreiben gestreamter Daten hilft ein Puffern der dirty Sektoren für 30 Sekunden sowieso kaum. Und die EPG Daten hätte man ja auch am liebsten "gleich" auf der Platte...

@just_me: Könntest Du das mal in vollständige Kommandozeilen fassen???
Hört sich nach guten Ansätzen an!

@palace

Welches Image nutzt du ?

Beim JTG Image wird die hdd sauber "geumountet" über die /etc/init.d/halt
- da brauchst du nix in die start_neutrino patchen oder sowas.

Wieso nutzt ihr alle ext2 - das ist ein Rückschritt, wir haben uns schon was dabei gedacht ext3 zu nehmen... auch wenns hier und da noch Performance-Problem gibt.

Riker

JtG-Riker hat geschrieben:@palace

Welches Image nutzt du ?

Beim JTG Image wird die hdd sauber "geumountet" über die /etc/init.d/halt
- da brauchst du nix in die start_neutrino patchen oder sowas.

Wieso nutzt ihr alle ext2 - das ist ein Rückschritt, wir haben uns schon was dabei gedacht ext3 zu nehmen... auch wenns hier und da noch Performance-Problem gibt.

Riker

Hi Riker,
Ich benutze das JTG!
"halt" wird, so habe ich das verstanden, bei "Neu Starten" gar nicht aufgerufen (kann mich auch irren).
Jedenfalls lasse ich fsck (ohne -f) bei JEDEM Start laufen und alle 3-5 Neustarts wird gemeldet, dass die HDD nicht korrekt abgemeldet wurde; Alle 10-15 Versuche fliegt mir darauf hin das FS um die Ohren.

"dev/ide/host0/bus0/target0/lun0/part2 was not cleanly unmounted, check forced.
This doesn't bode well, but we'll try to go on... "

JtG-Riker hat geschrieben:@palace

Welches Image nutzt du ?

Wieso nutzt ihr alle ext2 - das ist ein Rückschritt, wir haben uns schon was dabei gedacht ext3 zu nehmen... auch wenns hier und da noch Performance-Problem gibt.

Riker

Was bleibt uns denn für eine Wahl? Lieber mit Rückschritt ruckelfrei aufnehmen, als mit ext3 und wehenden Fahnen untergehen...

JtG-Riker hat geschrieben:Wieso nutzt ihr alle ext2 - das ist ein Rückschritt, wir haben uns schon was dabei gedacht ext3 zu nehmen... auch wenns hier und da noch Performance-Problem gibt.

Riker, da hast Du sicherlich recht.
Aber ich experimentiere nun mal gerne mit der DBox - auch wenn ichs gerne besser könnte

Natürlich ist ext2 ein Rückschritt; probiert wird hier, weil bei einigen ARD&Co noch nicht klappt oder zu checken, ob und wo man die nötigen 10% für Timeshift rausquetschen kann. Sähe ich mich in der Lage ein Entwicklungssystem aufzusetzen und C programmieren zu können hätte ich schon längst versucht, die von DBoxBaer gewünschte Zeitversetzte Wiedergabe zu basteln (ohne HDD).

ext3 ändert allerdings nichts an der Tatsache, dass die HDD (bei mir) regelmässig nicht sauber unmounted wird - ext3 ist nur eher in der Lage das FS schneller und effektiver zu fixen.

Ich vermute mal, dass der ein oder Andere bereits auf ein korruptes FS streamt, ohne es zu wissen - bis die Posts kommen: nach Reboot kein /hdd mehr HILFE.

palace hat geschrieben:@just_me: Könntest Du das mal in vollständige Kommandozeilen fassen???

Nein, sorry. Hoppla, das war die kurze Antwort.

Die lange Antwort: leider sind (ausser dem mount Befehl) die dafür nötigen Sachen (z.B. /proc interface oder ein userspace tool für kupdated oder sync) auf der dbox nicht drauf (zumindest nicht auf meinem Yadi Enigma), so dass das Tunen der kupdated Intervalle mit "Bordmitteln" nicht geht.

Das mit dem "mount -o remount,ro" würde vor allem dann Sinn machen, wenn es in Skripte oder Neutrino selbst eingebaut würde. Aber wenn zwei Anwendungen berechtigt schreiben dürfen pinkelt dann die eine der anderen ans Bein...
Ich habe hier keine IDE Box, so dass ich die genaue Kommandozeile nicht angeben kann. In einer Telnet session auf die Box kannst Du aber mit "mount" Dir den Gerätenamen (und mountpoint, -optionen) ausgeben lassen. Mit diesem Gerätenamen müsste dann: "mount -o remount,ro,noatime Gerätename" gehen (die anderen Mountoptionen sollten durch den remount nicht geändert werden - erneut mit "mount" prüfen)

Aus meiner Sicht idealerweise würden DBoxBaer (und/oder andere Devs und Imagebauer) die Werte in linux-2.4.x/fs/buffer.c so anpassen, dass
a) die anfängliche Schreibgeschwindigkeit auf IDE (leicht) oberhalb der maximalen Streamingdatenrate liegt (dann bauen sich nicht viele geänderte Blöcke im Puffer auf - vor einem shutdown muss dann z.B. nicht mehr viel geschrieben werden.)
b) das Zeitfenster für noch nicht geschriebene Daten möglichst kurz ist (wenige Sekunden).
c) es nicht zu "Bursts" in der CPU-Last durch plötzliches Schreiben vieler alter geänderter Blöcke kommt sondern die Frames gleichmässig viel Rechenleistung an die Schreibroutinen abtreten.

Entsprechende Stelle im 2.4 Standardkernel linux-2.4.x/fs/buffer.c:

Code: Alles auswählen

union bdflush_param {
        struct {
                int nfract;     /* Percentage of buffer cache dirty to
                                   activate bdflush */
                int ndirty;     /* Maximum number of dirty blocks to write out per
                                   wake-cycle */
                int dummy2;     /* old "nrefill" */
                int dummy3;     /* unused */
                int interval;   /* jiffies delay between kupdate flushes */
                int age_buffer; /* Time for normal buffer to age before we flush it */
                int nfract_sync;/* Percentage of buffer cache dirty to
                                   activate bdflush synchronously */
                int nfract_stop_bdflush; /* Percetange of buffer cache dirty to stop bdflush */
                int dummy5;     /* unused */
        } b_un;
        unsigned int data[N_PARAM];
} bdf_prm = {{30, 500, 0, 0, 5*HZ, 30*HZ, 60, 20, 0}};

palace hat geschrieben:
JtG-Riker hat geschrieben:@palace

Welches Image nutzt du ?

Beim JTG Image wird die hdd sauber "geumountet" über die /etc/init.d/halt
- da brauchst du nix in die start_neutrino patchen oder sowas.

Wieso nutzt ihr alle ext2 - das ist ein Rückschritt, wir haben uns schon was dabei gedacht ext3 zu nehmen... auch wenns hier und da noch Performance-Problem gibt.

Riker
Hi Riker,
Ich benutze das JTG!
"halt" wird, so habe ich das verstanden, bei "Neu Starten" gar nicht aufgerufen (kann mich auch irren).
Jedenfalls lasse ich fsck (ohne -f) bei JEDEM Start laufen und alle 3-5 Neustarts wird gemeldet, dass die HDD nicht korrekt abgemeldet wurde; Alle 10-15 Versuche fliegt mir darauf hin das FS um die Ohren.

"dev/ide/host0/bus0/target0/lun0/part2 was not cleanly unmounted, check forced.
This doesn't bode well, but we'll try to go on... "

Fakt ist, dass die Festplatte beim Runterfahren der Box mit Neu Starten nicht ungemountet wird. Das unmounten der Platte geht auch beim Ausschalten nicht.

Hier mal das Log vom Neu starten:

Code: Alles auswählen

Starting pid 236, console /dev/console: '/etc/init.d/halt'
CXA2092 found
CXA2092 found
TuxMailD <shutdown>
TuxMailD <backup Mail-DB>
killall: Could not kill pid '67': No such process
Waiting for tuxmaild (max. 5 seconds)
TuxMailD 1.43 closed [14.09.2006 - 00:53:12]
TuxCalD <shutdown>
killall: Could not kill pid '76': No such process
Waiting for tuxcald (max. 5 seconds)
TuxCalD 1.07 closed [14.09.2006 - 00:53:14]
Unmounting 'nfs' on '/mnt/bilder'
Unmounting 'nfs' on '/mnt/filme'
Unmounting 'ramfs' on '/tmp'
umount: Couldn't umount /tmp: No such file or directory
Unmounting 'jffs2' on '/var'
Ready to shutdown system...
The system is going down NOW !![nhttpd] stop requested......
Sending SIGKILL to all processes.
Requesting system reboot.

Und hier das Log vom Ausschalten:

Code: Alles auswählen

Going to halt system now ...
Starting pid 232, console /dev/console: '/etc/init.d/halt'
CXA2092 found
CXA2092 found
TuxMailD <shutdown>
TuxMailD <backup Mail-DB>
killall: Could not kill pid '69': No such process
Waiting for tuxmaild (max. 5 seconds)
TuxMailD 1.43 closed [14.09.2006 - 01:12:47]
TuxCalD <shutdown>
killall: Could not kill pid '73': No such process
Waiting for tuxcald (max. 5 seconds)
TuxCalD 1.07 closed [14.09.2006 - 01:12:49]
Unmounting 'nfs' on '/mnt/bilder'
Unmounting 'nfs' on '/mnt/filme'
Unmounting 'ramfs' on '/tmp'
umount: Couldn't umount /tmp: No such file or directory
Unmounting 'jffs2' on '/var'
Ready to shutdown system...
The system is going down NOW !![nhttpd] stop requested......
Sending SIGKILL to all processes.
Requesting system halt.
flushing ide devices: hda

Obwohl der Befehl zum Unmouten der Festplatte in der /etc/init.d/halt drin steht, kommt eigenartigerweise keine Meldung im Bootlog.

Code: Alles auswählen

reverse < /proc/mounts | \
while read des fs type rest; do
	case "$type" in
		jffs2)	echo "Unmounting 'jffs2' on '$fs'"

			UMOUNT_FAILED=false

			umount -f $fs || {
				UMOUNT_FAILED=true
			}

			if [ "$UMOUNT_FAILED" = true ]; then
				echo "Oops: umount failed :-(  --  trying to remount readonly..."
				mount -v -n -o remount,ro $type $fs
			fi;

			sleep 1

		;;
	esac

done
if [ -e /var/etc/.start_ide ] ; then

reverse < /proc/mounts | \
while read des fs type rest; do
	case "$type" in
		ext3)	echo "Unmounting 'ext3' on '$fs'"

			UMOUNT_FAILED=false

			umount -f $fs || {
				UMOUNT_FAILED=true
			}

			if [ "$UMOUNT_FAILED" = true ]; then
				echo "Oops: umount failed :-(  --  trying to remount readonly..."
				mount -v -n -o remount,ro $type $fs
			fi;

			sleep 1

		;;
	esac

done
fi;

echo "Ready to shutdown system..

JtG-Riker hat geschrieben:Beim JTG Image wird die hdd sauber "geumountet" über die /etc/init.d/halt
- da brauchst du nix in die start_neutrino patchen oder sowas.

Eben nicht, das Unmounten funktioniert nicht, da muss man in der start_neutrino rumpatchen.

Jetzt habe ich mir mal Gedanken darüber gemacht und bin jetzt auch draufgekommen, warum die Platte nicht ungemountet wird. Der Grund ist der, dass auf das Vorhandensein der Schalterdatei /etc/init.d/halt abgefragt wird, die zu diesem Zeitpunkt aber nicht mehr erreichbar ist, weil das jffs2-Dateisystem schon vorher ungemountet wird.

Diese Zeile verursacht den Fehler.

Code: Alles auswählen

if [ -e /var/etc/.start_ide ] ; then

@Riker

Da sollte noch dringend nachgebessert werden. Normalerweise sollte die Platte vor dem Runterfahren ungemountet werden. Und zwar bevor das jffs2 ungemountet wird. Nur liegt dieser Teil (/etc/init.d/halt) im nicht beschreibbaren Bereich (squashfs) des Images, wo man als Normaluser nichts machen kann.

Das Unmounten der Festplatte muss vor dem Unmounten des jffs2-Dateisystems gemacht werden.

Greetz von DrStoned

Danke, ich ändere das heute gleich, bin halt auch nicht perfekt *g*

Gruß Riker

Beitrag von **Z80** » Donnerstag 14. September 2006, 09:10

schön analysiert DrStoned. Danke.
@Riker
da ja z.zt. viele auf ext2 setzten, könnte man vielleicht gleich noch eine abfrage wie für ext3 in /etc/halt einbauen?

Code: Alles auswählen

ext3)   echo "Unmounting 'ext3' on '$fs'" 
...

Code: Alles auswählen

ext2)   echo "Unmounting 'ext2' on '$fs'" 
...

Z80 hat geschrieben:schön analysiert DrStoned. Danke.
@Riker
da ja z.zt. viele auf ext2 setzten, könnte man vielleicht gleich noch eine abfrage wie für ext3 in /etc/halt einbauen?
Code: Alles auswählen
ext3)   echo "Unmounting 'ext3' on '$fs'" 
...
Code: Alles auswählen
ext2)   echo "Unmounting 'ext2' on '$fs'" 


...

Ich weis nicht ich wär eher dafür die Gründe zu finden wieso ext3 da etwas cpu-lastiger ist oder die streamerei zu optimieren, denn ext2 ist viel zu crashanfällig, da man dafür eh die start-dateien anpassen muss am eigenen image könnt man auch da eine umount reinschreiben.

Riker

Beitrag von **Z80** » Donnerstag 14. September 2006, 09:38

JtG-Riker hat geschrieben: Ich weis nicht ich wär eher dafür die Gründe zu finden wieso ext3 da etwas cpu-lastiger ist

womit du natürlich vllig recht hast

JtG-Riker hat geschrieben: oder die streamerei zu optimieren, denn ext2 ist viel zu crashanfällig,

auch richtig, aber daher wäre ein sauberer umount doppelt wichtig.

JtG-Riker hat geschrieben:da man dafür eh die start-dateien anpassen muss am eigenen image könnt man auch da eine umount reinschreiben

okay, das stimmt natürlich. ich dachte da auch eher an eine art "übergangslösung" bzw. universallösung.

Gute Informationen über ext2 und ext3 bekommt man hier.

http://www.linuxfibel.de/filesys.htm
die option data=writeback könnte hier interessant sein

http://ifph-rdws2.gse.uni-magdeburg.de/ ... uning.html
hier könnte noatime und nodiratime interessant sein

Die Anzahl der Inode und die Blockgrösse sollte man auch mal optimieren.

Beitrag von **palace** » Sonntag 17. September 2006, 20:54

AudioSlyer hat geschrieben:Gute Informationen über ext2 und ext3 bekommt man hier.

http://www.linuxfibel.de/filesys.htm
die option data=writeback könnte hier interessant sein

http://ifph-rdws2.gse.uni-magdeburg.de/ ... uning.html
hier könnte noatime und nodiratime interessant sein

Die Anzahl der Inode und die Blockgrösse sollte man auch mal optimieren.

@AudiSlyer: Hast Du da schon was probiert?
"nodiratime" wäre noch ne Option und kann man das 5 Sekundenintervall des Kjournald ändern?
Ich hab leider k.A. wie der Mountbefehl dann aussehen sollte

Hallo,

fyi:

da ich den fsck zu beginn der start_neutrino eingefügt habe und dieser somit bei jeden Start/Neustart der Box ausgeführt wird, ist mir aufgefallen, dass noch immer (JTG von gestern) jeden 2. / 3. (Neu)Start die Meldung kommt:

"Recovering Journal"

Also klappt das unmounten scheinbar noch nicht so richtig.

palace hat geschrieben:Hallo,

fyi:

da ich den fsck zu beginn der start_neutrino eingefügt habe und dieser somit bei jeden Start/Neustart der Box ausgeführt wird, ist mir aufgefallen, dass noch immer (JTG von gestern) jeden 2. / 3. (Neu)Start die Meldung kommt:

"Recovering Journal"

Also klappt das unmounten scheinbar noch nicht so richtig.

Hm, kann ma noch ein Sleep einfügen, aber dann dauert das abschalten wieder länger, eigendlich sollte die Zeit reichen

JtG-Riker hat geschrieben:
palace hat geschrieben:Hallo,

fyi:

da ich den fsck zu beginn der start_neutrino eingefügt habe und dieser somit bei jeden Start/Neustart der Box ausgeführt wird, ist mir aufgefallen, dass noch immer (JTG von gestern) jeden 2. / 3. (Neu)Start die Meldung kommt:

"Recovering Journal"

Also klappt das unmounten scheinbar noch nicht so richtig.
Hm, kann ma noch ein Sleep einfügen, aber dann dauert das abschalten wieder länger, eigendlich sollte die Zeit reichen

Ich habe das gleiche beobachtet, manchmal wird die Platte beim Runterfahren nicht ungemountet. Scheinbar reicht die Zeit nicht aus, die Platte korrekt zu umounten, wenn die Platte vorher im Sleepmodus war.

Was macht das aus, wenn die Box durch das Einfügen eines Sleeps noch 3 Sekunden länger braucht, um runterzufahren.

Greetz von DrStoned

Es wurd doch schon mal der Vorschlag gemacht das beim Aufnhemen die Schreibrechte der Platte gesetzt und nach der Aufnahme dann wieder auf nur lesen gesetzt werden.
Würde dass das Problem minimieren? Oder wie wärs wenn man die Platte vor dem abschalten durch hdparm unmounten würde?

Gruß Gorcon

Gorcon hat geschrieben:Es wurd doch schon mal der Vorschlag gemacht das beim Aufnhemen die Schreibrechte der Platte gesetzt und nach der Aufnahme dann wieder auf nur lesen gesetzt werden.
Würde dass das Problem minimieren? Oder wie wärs wenn man die Platte vor dem abschalten durch hdparm unmounten würde?

Gruß Gorcon

Guter Ansatz.
In meinem Fall ist es jedoch von Writecache on/off unabhängig

Allerdings ist EPG speichern auf ein und das schreibt ja bis zuletzt.

EPG Speicern hatte ich auch einmal eingeschaltet, bringt aber beim hochfahren praktisch überhaupt nichts da das EPG nicht (von Platte)eingelesen wird. Könnte aber auch daran liegen das die HDD bevor sie fertig mit schreiben wird schon abgeschaltet wird (weil ein Teil noch im Cache ist).

Gruß Gorcon

Gorcon hat geschrieben:EPG Speicern hatte ich auch einmal eingeschaltet, bringt aber beim hochfahren praktisch überhaupt nichts da das EPG nicht (von Platte)eingelesen wird. Könnte aber auch daran liegen das die HDD bevor sie fertig mit schreiben wird schon abgeschaltet wird (weil ein Teil noch im Cache ist).
Gruß Gorcon

<ot>EPG wieder von HDD lesen finktioniert durchaus. Dauert nur ca 2-3 Min, bis es komplett da ist</ot>
Mit Writecache enabled ist einiges im Cache - so werden bei mir z.B. die Tuxmail Daten komplett über den Cache abgewickelt (Platte läuft nicht an).