Data integrity ext4 vs btrfs

[Treveo]

Heey allemaal,

Waarschijnlijk is het alweer de zoveelste post hierover, maar laat ik even mijn situatie uitleggen :-p. Mijn setup:

- DS218+
- 2x WD Red 6 TB
- ext4
- RAID1

Waar het mij nu om gaat: ik vind heel belangrijk dat ik over 25 jaar mijn persoonlijke foto's en video's gewoon kan openen/afspelen. Ik wil dus graag dat data intact blijft en daarbij dus ook dat als dat niet zo is, het vanzelf hersteld wordt.

Als ik goed begrijp, en neem even aan dat ik mijn persoonlijke data de komende 25 jaar blijf opslaan onder ext4, is mijn aanname juist dat het zou kunnen gebeuren dat data ergens corrupt kan raken en ik hier pas achter kom als ik iets probeer te openen/afspelen? Ondanks dat hij in RAID1 setup zit?

Btrfs zou een "self-heal" feature hebben, qua available storage lever je als het goed is iets in, maar hij zou daarna de bit rots kunnen herkennen en fixen. Als data integrity belangrijk is voor mij, neem ik aan dat het heel verstandig is om over te gaan op btrfs? Het gaat mij dus totaal niet om de snapshots of iets dergelijks, puur alleen self-healing en data integrity.

Zit ik ergens in de buurt met mijn gedachten? Want het is wel aardig wat werk om de 6 TB aan data ergens 2-voud te stallen zodat ik NAS rustig kan reformatteren voor btrfs, daarom wil ik even zeker weten.

Alvast bedankt en hoop dat ik daarna beter weet of overstappen naar btrfs nut heeft.

[dirklammers]

Volgens mij gaat self healing met twee schijven niet werken. Het systeem kan immers nooit bepalen op welke van de twee het foute bestand staat. Dat lukt m.i. alleen als je meer discs hebt en de pariteitbits onderling gecontroleerd kunnen worden.

25 Jaar bewaren ? Brandt je fotos op een grote stapel M discs die worden 1000 jaar gegarandeerd. Is even een klus natuurlijk.

Groet, Dirk

[Birdy]

Volgens mij gaat self healing met twee schijven niet werken.

Btrfs-bestandssysteem zelfherstel
Traditionele opslagsystemen kunnen fouten bevatten die volledig onopgemerkt blijven, wat tot beschadigde gegevens leidt die zonder waarschuwingen of foutmeldingen aan applicaties worden verstrekt. Om dit soort fouten te voorkomen, genereert Btrfs controlesommen voor gegevens en metadata, en twee kopieën van metadata en controleert vervolgens tijdens elk leesproces de controlesom. Btrfs-bestandssysteem detecteert automatisch beschadigde bestanden (onopvallende gegevenscorruptie) met gespiegelde metagegevens en herstelt beschadigde gegevens met behulp van de ondersteunde RAID-volumes zoals die van RAID 1, RAID 5, RAID 6, RAID 10, F1 en SHR.

Bron

[Birdy]

wel aardig wat werk om de 6 TB aan data ergens 2-voud te stallen

Je hebt 2x6TB in RAID1, dus je hoeft niet in 2-voud te stallen of snap ik je niet. 

[Briolet]

Volgens mij gaat self healing met twee schijven niet werken. Het systeem kan immers nooit bepalen op welke van de twee het foute bestand staat.

Dat zal (vrijwel*) altijd lukken. Elk datablok op de schijf heeft een checksum. Het foute datablok staat op de schijf waar de checksum niet klopt.

*: de kans dat de combinatie van meerdere fouten toch een geldige checksum geven is extreem klein.

[Treveo]

25 Jaar bewaren ? Brandt je fotos op een grote stapel M discs die worden 1000 jaar gegarandeerd. Is even een klus natuurlijk.

Privé foto's en video's vind ik wel chill om 25 jaar te bewaren, leuk voor de kleinkinderen. De M discs zijn niet echt een oplossing, je moet die discs bewaren en ze zijn niet meteen te benaderen.

[Treveo]

wel aardig wat werk om de 6 TB aan data ergens 2-voud te stallen

Je hebt 2x6TB in RAID1, dus je hoeft niet in 2-voud te stallen of snap ik je niet. 

Excuus, ik bedoelde dus als ik besluit om te migreren naar btrfs, dat ik die 6 TB aan data niet eenmalig wil backuppen voordat ik de disks ga formatteren. Mocht het gebeuren dat mijn backup stuk gaat, want dan zou ik alles kwijt zijn, wil ik het even tijdelijk 2-voud backuppen ergens. Ik wil het liefst naar btrfs na een format, niet een of ander ext4 -> btrfs migratie oplossing want die zou onstabiel zijn heb ik ergens gelezen.

[Treveo]

Als ik de reacties van @Birdy en @Briolet zo lees, zit het met de data integrity een stuk beter bij btrfs en is het waard om daarheen te migreren?

[Briolet]

Ik heb geen idee. Bij een diskfout zal een raid met ook ext4 er voor zorgen dat je de file van de goede disk leest. Bij btrfs loopt dat misschien geruislozer?

Bij een raid van 3 schijven of meer kun je ook periodiek een 'diskreiniging' uitvoeren. Dit repareert ook files met bitrot.

Het grote voordeel van btrfs ligt volgens mij in de snapshots. En als je Drive gebruikt, scheelt dat weer opslagcapaciteit. Drive hoeft dan geen files dubbel op te slaan voor herstel van gewiste files, maar gebruikt het snapshot mechanisme daarvoor.

[Birdy]

Bij een raid van 3 schijven of meer kun je ook periodiek een 'diskreiniging' uitvoeren. Dit repareert ook files met bitrot.

Officieel kan RAID scrubbing niet bij een raid van 2 schijven, maar het kan wel, zie dit Topic. 

[Briolet]

Klopt. Ik gebruikte dat vroeger ook. En net getest op mijn 212j met md0 en md1 (die gaan snel). Het werkt nog steeds en opslagbeheer laat de voortgang zien en stuurt een mail als hij klaar is.