Auteur Topic: Data integrity ext4 vs btrfs  (gelezen 2121 keer)

Offline Treveo

  • Bedankjes
  • -Gegeven: 2
  • -Ontvangen: 0
  • Berichten: 6
Data integrity ext4 vs btrfs
« Gepost op: 28 april 2021, 16:04:28 »
Heey allemaal,

Waarschijnlijk is het alweer de zoveelste post hierover, maar laat ik even mijn situatie uitleggen :-p. Mijn setup:

- DS218+
- 2x WD Red 6 TB
- ext4
- RAID1

Waar het mij nu om gaat: ik vind heel belangrijk dat ik over 25 jaar mijn persoonlijke foto's en video's gewoon kan openen/afspelen. Ik wil dus graag dat data intact blijft en daarbij dus ook dat als dat niet zo is, het vanzelf hersteld wordt.

Als ik goed begrijp, en neem even aan dat ik mijn persoonlijke data de komende 25 jaar blijf opslaan onder ext4, is mijn aanname juist dat het zou kunnen gebeuren dat data ergens corrupt kan raken en ik hier pas achter kom als ik iets probeer te openen/afspelen? Ondanks dat hij in RAID1 setup zit?

Btrfs zou een "self-heal" feature hebben, qua available storage lever je als het goed is iets in, maar hij zou daarna de bit rots kunnen herkennen en fixen. Als data integrity belangrijk is voor mij, neem ik aan dat het heel verstandig is om over te gaan op btrfs? Het gaat mij dus totaal niet om de snapshots of iets dergelijks, puur alleen self-healing en data integrity.

Zit ik ergens in de buurt met mijn gedachten? Want het is wel aardig wat werk om de 6 TB aan data ergens 2-voud te stallen zodat ik NAS rustig kan reformatteren voor btrfs, daarom wil ik even zeker weten.

Alvast bedankt en hoop dat ik daarna beter weet of overstappen naar btrfs nut heeft.
  • Mijn Synology: DS218+
  • HDD's: -
  • Extra's: -

Offline dirklammers

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 2
  • -Ontvangen: 128
  • Berichten: 1.033
Re: Data integrity ext4 vs btrfs
« Reactie #1 Gepost op: 28 april 2021, 18:56:13 »
Volgens mij gaat self healing met twee schijven niet werken. Het systeem kan immers nooit bepalen op welke van de twee het foute bestand staat. Dat lukt m.i. alleen als je meer discs hebt en de pariteitbits onderling gecontroleerd kunnen worden.

25 Jaar bewaren ? Brandt je fotos op een grote stapel M discs die worden 1000 jaar gegarandeerd. Is even een klus natuurlijk.

Groet, Dirk
DS1821+ met 8 X WD30EFZX in SHR-2 configuratie BTRFS als fileserver
DS923+ met nu nog allegaartje van 4 schijven VPN/SS/Backup/Caldav/Carddav
DS118 met WD20EFRX als test-NAS
DS220+ als Cloudserver
DS220+ als backupserver

Offline Birdy

  • Global Moderator
  • MVP
  • *
  • Bedankjes
  • -Gegeven: 1399
  • -Ontvangen: 8046
  • Berichten: 44.177
  • Fijne feestdagen.......
    • Truebase
Re: Data integrity ext4 vs btrfs
« Reactie #2 Gepost op: 28 april 2021, 19:15:32 »
Volgens mij gaat self healing met twee schijven niet werken.

Citaat
Btrfs-bestandssysteem zelfherstel
Traditionele opslagsystemen kunnen fouten bevatten die volledig onopgemerkt blijven, wat tot beschadigde gegevens leidt die zonder waarschuwingen of foutmeldingen aan applicaties worden verstrekt. Om dit soort fouten te voorkomen, genereert Btrfs controlesommen voor gegevens en metadata, en twee kopieën van metadata en controleert vervolgens tijdens elk leesproces de controlesom. Btrfs-bestandssysteem detecteert automatisch beschadigde bestanden (onopvallende gegevenscorruptie) met gespiegelde metagegevens en herstelt beschadigde gegevens met behulp van de ondersteunde RAID-volumes zoals die van RAID 1, RAID 5, RAID 6, RAID 10, F1 en SHR.
Bron


CS406      DSM 2.0-0731    DS508      DSM 4.0-2265      DS411+II  DSM 6.2.4-25556-8   DS115J    DSM 7.1.1-42962-5   DS918+    DSM 6.2.4-25556-8
DS107+     DSM 3.1-1639    DS411slim  DSM 6.2.4-25556   DS213J    DSM 6.2.4-25556-7   DS1515+   DSM 6.2.4-25556-8   DS220+    DSM 7.2.2-72806-2
DS107+     DSM 3.1-1639    DS111      DSM 5.2-5967-9    DS413J    DSM 6.2.3-25426-2   DS716+II  DSM 7.2.2-72806-2   RT2600ac  SRM 1.3.1-9346-12
BeeDrive   1TB             BeeServer  BSM 1.2-65567                                                                 MR2200ac  SRM 1.3.1-9346-12

Offline Birdy

  • Global Moderator
  • MVP
  • *
  • Bedankjes
  • -Gegeven: 1399
  • -Ontvangen: 8046
  • Berichten: 44.177
  • Fijne feestdagen.......
    • Truebase
Re: Data integrity ext4 vs btrfs
« Reactie #3 Gepost op: 28 april 2021, 19:19:03 »
Citaat
wel aardig wat werk om de 6 TB aan data ergens 2-voud te stallen
Je hebt 2x6TB in RAID1, dus je hoeft niet in 2-voud te stallen of snap ik je niet.  ;)


CS406      DSM 2.0-0731    DS508      DSM 4.0-2265      DS411+II  DSM 6.2.4-25556-8   DS115J    DSM 7.1.1-42962-5   DS918+    DSM 6.2.4-25556-8
DS107+     DSM 3.1-1639    DS411slim  DSM 6.2.4-25556   DS213J    DSM 6.2.4-25556-7   DS1515+   DSM 6.2.4-25556-8   DS220+    DSM 7.2.2-72806-2
DS107+     DSM 3.1-1639    DS111      DSM 5.2-5967-9    DS413J    DSM 6.2.3-25426-2   DS716+II  DSM 7.2.2-72806-2   RT2600ac  SRM 1.3.1-9346-12
BeeDrive   1TB             BeeServer  BSM 1.2-65567                                                                 MR2200ac  SRM 1.3.1-9346-12

Offline Briolet

  • Global Moderator
  • MVP
  • *
  • Bedankjes
  • -Gegeven: 180
  • -Ontvangen: 2680
  • Berichten: 16.584
Re: Data integrity ext4 vs btrfs
« Reactie #4 Gepost op: 28 april 2021, 20:25:09 »
Volgens mij gaat self healing met twee schijven niet werken. Het systeem kan immers nooit bepalen op welke van de twee het foute bestand staat.

Dat zal (vrijwel*) altijd lukken. Elk datablok op de schijf heeft een checksum. Het foute datablok staat op de schijf waar de checksum niet klopt.

*: de kans dat de combinatie van meerdere fouten toch een geldige checksum geven is extreem klein.
  • Mijn Synology: DS415+
  • HDD's: 3x 3TB in SHR
  • Extra's: DS212J, RT1900ac

Offline Treveo

  • Bedankjes
  • -Gegeven: 2
  • -Ontvangen: 0
  • Berichten: 6
Re: Data integrity ext4 vs btrfs
« Reactie #5 Gepost op: 28 april 2021, 20:28:37 »
25 Jaar bewaren ? Brandt je fotos op een grote stapel M discs die worden 1000 jaar gegarandeerd. Is even een klus natuurlijk.
Privé foto's en video's vind ik wel chill om 25 jaar te bewaren, leuk voor de kleinkinderen. De M discs zijn niet echt een oplossing, je moet die discs bewaren en ze zijn niet meteen te benaderen.
  • Mijn Synology: DS218+
  • HDD's: -
  • Extra's: -

Offline Treveo

  • Bedankjes
  • -Gegeven: 2
  • -Ontvangen: 0
  • Berichten: 6
Re: Data integrity ext4 vs btrfs
« Reactie #6 Gepost op: 28 april 2021, 20:29:55 »
Citaat
wel aardig wat werk om de 6 TB aan data ergens 2-voud te stallen
Je hebt 2x6TB in RAID1, dus je hoeft niet in 2-voud te stallen of snap ik je niet.  ;)
Excuus, ik bedoelde dus als ik besluit om te migreren naar btrfs, dat ik die 6 TB aan data niet eenmalig wil backuppen voordat ik de disks ga formatteren. Mocht het gebeuren dat mijn backup stuk gaat, want dan zou ik alles kwijt zijn, wil ik het even tijdelijk 2-voud backuppen ergens. Ik wil het liefst naar btrfs na een format, niet een of ander ext4 -> btrfs migratie oplossing want die zou onstabiel zijn heb ik ergens gelezen.
  • Mijn Synology: DS218+
  • HDD's: -
  • Extra's: -

Offline Treveo

  • Bedankjes
  • -Gegeven: 2
  • -Ontvangen: 0
  • Berichten: 6
Re: Data integrity ext4 vs btrfs
« Reactie #7 Gepost op: 28 april 2021, 20:32:04 »
Als ik de reacties van @Birdy en @Briolet zo lees, zit het met de data integrity een stuk beter bij btrfs en is het waard om daarheen te migreren?
  • Mijn Synology: DS218+
  • HDD's: -
  • Extra's: -

Offline Briolet

  • Global Moderator
  • MVP
  • *
  • Bedankjes
  • -Gegeven: 180
  • -Ontvangen: 2680
  • Berichten: 16.584
Re: Data integrity ext4 vs btrfs
« Reactie #8 Gepost op: 28 april 2021, 20:39:49 »
Ik heb geen idee. Bij een diskfout zal een raid met ook ext4 er voor zorgen dat je de file van de goede disk leest. Bij btrfs loopt dat misschien geruislozer?

Bij een raid van 3 schijven of meer kun je ook periodiek een 'diskreiniging' uitvoeren. Dit repareert ook files met bitrot.

Het grote voordeel van btrfs ligt volgens mij in de snapshots. En als je Drive gebruikt, scheelt dat weer opslagcapaciteit. Drive hoeft dan geen files dubbel op te slaan voor herstel van gewiste files, maar gebruikt het snapshot mechanisme daarvoor.
  • Mijn Synology: DS415+
  • HDD's: 3x 3TB in SHR
  • Extra's: DS212J, RT1900ac

Offline Birdy

  • Global Moderator
  • MVP
  • *
  • Bedankjes
  • -Gegeven: 1399
  • -Ontvangen: 8046
  • Berichten: 44.177
  • Fijne feestdagen.......
    • Truebase
Re: Data integrity ext4 vs btrfs
« Reactie #9 Gepost op: 28 april 2021, 21:40:42 »
Bij een raid van 3 schijven of meer kun je ook periodiek een 'diskreiniging' uitvoeren. Dit repareert ook files met bitrot.
Officieel kan RAID scrubbing niet bij een raid van 2 schijven, maar het kan wel, zie dit Topic.  ;)


CS406      DSM 2.0-0731    DS508      DSM 4.0-2265      DS411+II  DSM 6.2.4-25556-8   DS115J    DSM 7.1.1-42962-5   DS918+    DSM 6.2.4-25556-8
DS107+     DSM 3.1-1639    DS411slim  DSM 6.2.4-25556   DS213J    DSM 6.2.4-25556-7   DS1515+   DSM 6.2.4-25556-8   DS220+    DSM 7.2.2-72806-2
DS107+     DSM 3.1-1639    DS111      DSM 5.2-5967-9    DS413J    DSM 6.2.3-25426-2   DS716+II  DSM 7.2.2-72806-2   RT2600ac  SRM 1.3.1-9346-12
BeeDrive   1TB             BeeServer  BSM 1.2-65567                                                                 MR2200ac  SRM 1.3.1-9346-12

Offline Briolet

  • Global Moderator
  • MVP
  • *
  • Bedankjes
  • -Gegeven: 180
  • -Ontvangen: 2680
  • Berichten: 16.584
Re: Data integrity ext4 vs btrfs
« Reactie #10 Gepost op: 28 april 2021, 22:57:51 »
Klopt. Ik gebruikte dat vroeger ook. En net getest op mijn 212j met md0 en md1 (die gaan snel). Het werkt nog steeds en opslagbeheer laat de voortgang zien en stuurt een mail als hij klaar is.
  • Mijn Synology: DS415+
  • HDD's: 3x 3TB in SHR
  • Extra's: DS212J, RT1900ac


 

How to backup data on Synology NAS to another server

Gestart door ALKMAARBoard Data replicator & overige backupsoftware

Reacties: 3
Gelezen: 5916
Laatste bericht 15 oktober 2014, 18:28:48
door ALKMAAR
Data Replicator 3 kan bestanden niet vinden

Gestart door gerardvandenbraakBoard Data replicator & overige backupsoftware

Reacties: 5
Gelezen: 2829
Laatste bericht 14 oktober 2015, 21:10:20
door Birdy
Data van hd halen zonder Synology NAS

Gestart door rebootBoard NAS hardware vragen

Reacties: 1
Gelezen: 2248
Laatste bericht 10 juni 2010, 21:10:03
door wizjos
hoe kan je zien hoeveel data er op de externe usb drive staat.

Gestart door Marco@70Board Externe harddisks en Printers

Reacties: 2
Gelezen: 2139
Laatste bericht 29 maart 2017, 08:12:45
door Marco@70
Synology Blog: Data Privacy Day: one resolution for 2021

Gestart door BirdyBoard Synology Awards & Reviews (NL)

Reacties: 0
Gelezen: 3838
Laatste bericht 30 januari 2021, 16:13:28
door Birdy