Welke file systeem?

[aliazzz]

Ik denk dat ik het weer herinner, ik heb hier wat over gelezen in een powerpoint of pdf presentatie over de vtoekomst visie van DSM. Daarin stond interessante info hierover. Effe dragnetten en op zoek naar die info?

[Ben(V)]

Ik zal proberen het simpeler uit te leggen.
Als je BTFRS bovenop een mdadm raidsysteem hebt, dan is er een raidset gemaakt met mdadm en dus ziet btfrs dus een single disk zijnde die raidset.
Het scrubben van je volume kunt je dan op twee levels doen, namelijk het btfrs level en het raidlevel.

Mdadm kan op raidnivo controleren of de data in de raidset nog correct is, maar meer dan controleren kan niet, want hij weet niet hoe het te herstellen, want daar heb je metadata voor nodig die mdadm niet bijhoud, maar die wel door BTRFS wordt bijgehouden.
Hij ziet alleen dat er bitjes in de raidset  niet correct zijn via de parity check (of de mirror)

Btfrs houd wel metadata bij maar kan fouten op raidlevel niet detecteren want hij ziet alleen een disk zijnde de raidset.

Bijvoorbeeld het bekende "write hole" effect bij hogere raidset is niet te detecteren.
Zo'n "write hole" ontstaat bijvoorbeeld als tijdens het schrijven van data de spanning uitvalt.
Het gevolg kan zijn dat de parity corrupt raakt, wat niet gedetecteerd wordt.
In tegenstelling tot corrupte data, die kan bij het weer opstarten van het systeem herstelt worden vanuit de transactie log, maar de parity wordt op een lager level (mdadm) geschreven dus het filesystem weet daar niets van en kan dus niets herstellen.
Dit wordt pas bij het scrubben gedetecteerd, maar kan nooit herstelt worden.

Voor bitrot geld precies hetzelfde.
Dus de combinatie van beiden houd in dat bitrot protectie en "write hole" protectie niet werkt.

Dat kan alleen met een filesysteem dat zowel de metadata als de raidset onder zijn controle heeft zoals zfs.
Overigens heeft zfs weer heel andere problemen en is ook niet zalig makend.

[Pierre118]

Aangezien mdadm niets van je data weet is de "write wole bug" nog steeds aanwezig en bescherming tegen data-rot functioneert dus ook niet bij deze combinatie.

Het enige voordeel dat je overhoud is dat je snapshots kunt maken.

Nog een voordeel kan zijn is dat Btrfs DDSM ondersteunt, dat kan onder Ext4 niet.

[bronan]

Ach ja de discussie over de veiligheid van het onderliggende filesysteem is al erg lang gaande.
Zelf heb ik op ext4 ook al heel wat data verloren dus om nu te zeggen dat ext4 zo goed is blijkt ook heel betrekkelijk.
Heel eerlijk denk ik dat het hoog tijd word dat de industrie eens echt gaat werken aan 3 voudige parity zoals zfs heeft. Maar nogmaals mijn experimenten met zfs laten zien dat er veel te veel factoren zijn waar het mis kan gaan.
Want je kan dan wel leuk een redelijk veilige nas hebben.
Maar wie van jullie gebruikt bij alle data een machine die en registered memory heeft en voorzien is van een xeon cpu. Want tsja security en fouten in bitjes beginnen bij de bron.
En dan heb ik het nog niet eens over de nas. Als ik goed kijk vallen dan al een heleboel synology nassen uit want geen van deze heeft registered memory anders dan de enterprise modellen.
Dus u heeft in heel veel gevallen meer kans dat de data voor die tijd corrupt raakt dan wanneer het al op de nas staat. Natuurlijk als de stroom uitvalt of als je pech hebt en de parity check verkracht de goede versie van het bestand ( ja inderdaad 50% kans) dan snap je dat veel zaken schijnveiligheid zijn.
Het enige wat je kan doen is het bestand checken , door het te bekijken en/of op meerdere plekken een kopie te bewaren. Want ik denk dat nagenoeg niemand hier met dure workstations thuis zit te werken.
Op een paar uitzonderingen na dan, zelfs ik heb (omdat we allemaal stroom willen besparen) de stroom vretende dikke werkstations weg gedaan. En tsja ik zou ook niet meer terug willen.
Zeker omdat ik graag spellen speel en ondanks de hoge eisen die ik stel aan mijn pc's een veel lager stroomverbruik probeer te bereiken. Uiteraard liefst zonder verlies van de snelheid

Dat neemt niet weg dat je daardoor de kans op het currupt raken van data ernstig vergroot.
Daarom maak ik heel vaak backups op meerdere media van de bestanden die belangrijk zijn.
Het zal aan jezelf liggen of je het erg vind dat een bepaalde data verloren gaat.

Om een voorbeeld te nemen ik wou altijd de gekochte dvd/blurays backup images bewaren.
Maar inmiddels zie ik daar het nut niet meer dan in, zeker omdat er al meerdere 50 GB versies verloren zijn gegaan (ja idd bitrot) die onvervangbaar waren.
Nu abboneer je jezelf op een van de film opties op internet en je kan ze daar meestal weer bekijken voor een fractie van de prijs van die dvd of je huurt hem via diverse andere internet aanbieders.
In ieder geval viel het nut om deze te bewaren voor mij weg, mede omdat zelfs de gekochte dvd's ook niet het eeuwige leven bleken te hebben. Ja inderdaad die vergaan ook met de tijd. Ook dat heb ik door schade en schande ontdekt. Want jawel je kan het zelfs treffen dat een bepaald merk schijf niet word gelezen in een ander merk apparaat. De komst van netflix en dergelijke heeft voor zaken zoals muziek en films dit grotendeels veranderd.

Ik vraag mij af of je gelijk hebt Ben want synology zegt dat dit niet voor zou mogen komen.
Het feit dat ze zelfs voor bedrijfs systemen Betterfs durven aanraden is behoorlijk riskant als je niet kan garanderen dat de raid 5/6/10/50 opties veilig zijn.
Uiteraard ben ik het met je eens dat stroom uitval een enorm risico vormt en wil dan ook mensen op het hart drukken om een passende ups aan te schaffen voor de nas, mocht je met raid 5,6 en hoger aan de slag gaan
Desnoods een 2e handse als je maar oplet of de accu nog goed is.

[Ben(V)]

Ik vraag mij af of je gelijk hebt Ben want synology zegt dat dit niet voor zou mogen komen.
Het feit dat ze zelfs voor bedrijfs systemen Betterfs durven aanraden is behoorlijk riskant als je niet kan garanderen dat de raid 5/6/10/50 opties veilig zijn.
Uiteraard ben ik het met je eens dat stroom uitval een enorm risico vormt en wil dan ook mensen op het hart drukken om een passende ups aan te schaffen voor de nas, mocht je met raid 5,6 en hoger aan de slag gaan
Desnoods een 2e handse als je maar oplet of de accu nog goed is.

Ik heb wel gelijk, maar misschien interpreteer je het niet helemaal juist.
Wat ik zeg is dat BTFRS niet de voordelen bied waar mee geschermd wordt als je hem in een RAID omgeving gebruikt zoals Synology dat doet.
Dus bescherming tegen "bitrot" en "write hole" is niets beter(of slechter) dan op een EXT filesystem, dus om die reden de overhead van BTFRS te accepteren lijkt niet zinnig.

[Pierre118]

Quote van Synology :

''Btrfs-bestandssysteem zelfherstel :

Traditionele opslagsystemen kunnen fouten bevatten die volledig onopgemerkt blijven, wat tot beschadigde gegevens leidt die zonder waarschuwingen of foutmeldingen aan applicaties worden verstrekt. Om dit soort fouten te voorkomen, genereert Btrfs controlesommen voor gegevens en metadata, en twee kopieën van metadata en controleert vervolgens tijdens elk leesproces de controlesom. Btrfs-bestandssysteem detecteert automatisch beschadigde bestanden (onopvallende gegevenscorruptie) met gespiegelde metagegevens en herstelt beschadigde gegevens met behulp van de ondersteunde RAID-volumes zoals die van RAID 1, RAID 5, RAID 6, RAID 10, F1 en SHR.''

Detecteert en hersteld, is dit onjuist dan? Of interpreteer ik het verkeerd?

[bronan]

Punt begrepen Ben,
 
Ik probeer alleen duidelijk te maken naar de overige gebruikers dat je altijd kans loopt op verlies van gegevens ongeacht het onderliggende bestands systeem.

Wat betreft de overhead daar heb je gelijk in.
Nu de schijven wat voller beginnen te raken zie ik de snelheid terug zakken, als je bestanden van en naar de nas pompt. Ik vermoed dat het in eerste instantie sneller ging vanwege de ssd caching welke blijkbaar iets meer effect lijkt te hebben op btrfs.

Met btrfs zie ik op sommige punten dat het wat vlotter gaat, wat mij vooral opvalt is het veel sneller afhandelen van de pariteits checks.
Ext4 had hiervoor veel langer nodig,  dit werd nog duidelijker toen ik aan het volume een schijf had toegevoegd.
In plaats van 4 dagen was het systeem klaar na 42 uur dus net geen 2 dagen
Nu nog even testen of door het toevoegen van de extra schijf de prestatie weer wat opgekrikt word of niet.

@Pierre118
Dat stukje bedoelde ik met synology durft te claimen dat het veiliger is.
Het zal nog moeten blijken of de constructie die synology heeft bedacht werkelijk zo betrouwbaar zal zijn.
Je kan natuurlijk een hele berg bestanden aanmaken en dan deze bestanden random een foute bit geven.
En daarna kijken of deze toch worden hersteld, maar goed ik heb er geen tijd voor.

Zeker er hebben heel veel mensen met de beta meegedaan, maar hoeveel van deze mensen hebben moedwillig hun data getracht te beschadigen. Niet zo heel erg veel denk ik, om eerlijk te zijn had ik er ook geen tijd voor.

Het enige wat ik heb kunnen constateren is dat op de kleine nas het btrfs redelijk stabiel draaide.
Er hebben zich in die periode geen fouten voorgedaan en de latere bestands checks bleken allen goed te zijn doorlopen.

Het zou mooi zijn als er iemand tijd zou hebben om dit proces eens uitgebreid te testen met raid 5, 6, shr en shr2 op btrfs  om te zien of de bestanden altijd worden hersteld. Dat dit een nogal tijdrovende grap is zal iedereen wel duidelijk zijn. Feit blijft dat ik al meerdere mensen heb horen spreken over het inmiddels al in bedrijf hebben van hun nieuwe synology apparaten voor bedrijfs-kritische systemen gebaseerd op btrfs.

Om eerlijk te zijn zou ik die stap niet hebben durven nemen, zeker omdat btrfs zich nog niet afdoende bewezen heeft.
We hopen wel dat het een betrouwbare oplossing is/word maar dat vind ik tot dusver nog niet 100% bewezen.
Mede omdat als je mijn voorgaande stuk goed leest er teveel factoren zijn waar het mis kan gaan.

Waarom ik dan thuis wel ben overgegaan naar btrfs, komt deels omdat ik en een backup heb op de usb opslag ,cloud opslag, en als laatste data op een bluray word weg gezet. Hierdoor word het risico dat er iets echt verloren raakt bijzonder klein.

[Ben(V)]

Quote van Synology :

''Btrfs-bestandssysteem zelfherstel :

Traditionele opslagsystemen kunnen fouten bevatten die volledig onopgemerkt blijven, wat tot beschadigde gegevens leidt die zonder waarschuwingen of foutmeldingen aan applicaties worden verstrekt. Om dit soort fouten te voorkomen, genereert Btrfs controlesommen voor gegevens en metadata, en twee kopieën van metadata en controleert vervolgens tijdens elk leesproces de controlesom. Btrfs-bestandssysteem detecteert automatisch beschadigde bestanden (onopvallende gegevenscorruptie) met gespiegelde metagegevens en herstelt beschadigde gegevens met behulp van de ondersteunde RAID-volumes zoals die van RAID 1, RAID 5, RAID 6, RAID 10, F1 en SHR.''

Detecteert en hersteld, is dit onjuist dan? Of interpreteer ik het verkeerd?

Die quote is alleen waar als je BTFRS zonder raid gebruikt.

Native Raid is nog niet stabiel op BTFRS dus heeft Synology ervoor gekozen de standaard raid met mdadm te gebruiken en daar boven BTRFS te zetten.
Daarmee verliest het systeem zoals ik uitgelegd heb zijn mogelijkheden tot correctie.

[wopper]

Hoi Ben

<knip>

Jij geeft aan dat het detecteren van fouten etc alleen werkt als je de BTRFS-RAID optie zou gebruiken, maar ik denk dat je een denk foutje maakt. Ik kan mij niet voorstellen dat Synology een quote neerzet. Wat al hun zakelijke gebruikers lezen, die dan niet waar zou zijn. In die quote noemen ze namelijk opties van zelfherstel icm RAID.

Waar ik denk dat jouw gedachtengang niet helemaal juist is:

RAIDmanager = heeft Ben gelijk, daar heb je nu niet de voordelen van. En daar zitten nog wat instabiliteit issues/bugs in. Ook NetGear gebruikt de BTRFS raid manager niet maar gewoon de oude vertrouwde variant.
Bestandsystem = daar ga je volgens mij mis. Want het BTRFS filesystem is intelligenter, en dat is wat Synology aanprijst in de quote. NetGear heeft het zelfs aanstaan vanaf 4 disks als default, daar heb je als gebruiker al geen keuze meer. BTRFS filesystem biedt voordelen zoals snapshotting, en de genoemde checks die Synology aanhaalt.

Volgens mij pak jij alles als  1-geheel en raadt je veel nieuwe NAS gebruikers af om BTRFS te gebruiken. En dat vindt ik niet helemaal fair. Want je ziet dat de markt omgaat, denk aan de tijd dat Apple Flash ten dode opschreef. De hele markt viel over Apple heen, maar zie nu: flash is weg sinds een aantal jaar.

Zo zie je ook dat de NAS verdoren overstappen naar BTRFS omdat het een aantal voordelen biedt, niet alle voordelen zoals icm een BTRFS RAID set zoals jij het graag zou zien. Maar wel een aantal mooie voordelen in het filesystem zelf waar gebruikers echt voordeel van hebben. Er zijn zelfs bepaalde packages het vereisen. Hoe fijn is het als je vrouw een map met fotos van de kids weggooit dat jij zegt "ik zet wel even een snapshot terug schat, geef me 20seconden"

De poll in dit topic is mooi, maar in dit topic zitten de oudgedienden en de NAS Tweakers die al jaar en dag een NAS hebben. Vaak jaren geleden al geïnstalleerd met EXT4 vermoed ik, daarom beschouw ik persoonlijk deze pol niet als representatief.

Ik wil met deze post mensen ervoor behoeden dat ze nu voor EXT4 kiezen op basis van jou, toch wel sterke mening. En later denken "had ik maar, maar ik kan nu niet meer migreren omdat ik die x TB data niet ergens anders kan plaatsen". Want de verdoren hebben een pad in gezet, de marketingmachines voor BTRFS draaien op volle toeren, misschien is dit het moment om vooruit te kijken en niet achterom

Laten we de marketing tekst eens ontleden:

''Btrfs-bestandssysteem zelfherstel :

Traditionele opslagsystemen kunnen fouten bevatten die volledig onopgemerkt blijven, wat tot beschadigde gegevens leidt die zonder waarschuwingen of foutmeldingen aan applicaties worden verstrekt. Om dit soort fouten te voorkomen, genereert Btrfs controlesommen voor gegevens en metadata, en twee kopieën van metadata en controleert vervolgens tijdens elk leesproces de controlesom. Btrfs-bestandssysteem detecteert automatisch beschadigde bestanden (onopvallende gegevenscorruptie) met gespiegelde metagegevens en herstelt beschadigde gegevens met behulp van de ondersteunde RAID-volumes zoals die van RAID 1, RAID 5, RAID 6, RAID 10, F1 en SHR.''

Zie het verschil in de tekst tussen gegeven & bestanden. Even omdenken in marketingland: In de laatste zin spreekt met niet over BTRFS, maar simpelweg over "gegevens herstel in RAID volumes" de marketingmachine schrijft op het scherpst van de messnede maar feitelijk had hier ook kunnen staan:

Btrfs-bestandssysteem detecteert automatisch beschadigde bestanden (onopvallende gegevenscorruptie) met gespiegelde metagegevens. En herstelt beschadigde gegevens met behulp van de ondersteunde RAID-volumes zoals die van RAID 1, RAID 5, RAID 6, RAID 10, F1 en SHR met behulp van vertrouwde RAID-manager technieken zoals MDADM.''

Ik draai al vanaf moment 1 BTRFS op de Synology, in het begin kwam er veel gepruttel uit van disk activiteit. Maar met nieuwere updates is het allemaal effectiever (en stiller) geworden. Ik zou mijn volgende NAS graag weer van BTRFS voorzien.

Zie het bekende plaatje over de gelaagdheid van de samenwerkende systemen: https://www.google.nl/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&ved=0ahUKEwitipi_vZnUAhVJJlAKHazLAqQQjRwIBw&url=https%3A%2F%2Fnl.hardware.info%2Fnieuws%2F48916%2Fsynology-thecus-en-netgear-reageren-op-btrfs-bug&psig=AFQjCNH2P6xLXs5jBNfT_xOU_v8MDGZzcw&ust=1496297701228164

[bronan]

@wopper. Dat Ben op deze wijze reageert begrijp ik volledig.

Je mag van mij aannemen dat ik zelf dit ook heb gedacht, en zelfs nu ben ik nog wat achterdochtig.

Wanneer er iets nieuws word uitgebracht springen mensen er vaak meteen op om het te gaan gebruiken.
Zijn voorzichtigheid is absoluut te begrijpen, zeker als er nogal wat haken en ogen zijn welke niet duidelijk zijn.

Blijkbaar hebben de andere fabrikanten de constructie van synology (deels) overgenomen om de afhandeling van het raid deel uit te laten voeren door mdadm. Er blijven dan ook vragen over hoe is de communicatie geregeld tussen het controle deel en het bestands-systeem. Wij hebben geen enkele informatie hoe de snapshot afhandeling is geregeld. Daarover is er niets te vinden, vandaar Ben zijn wantrouwen.

Aan de andere kant word inderdaad btrfs als de oplossing uitgebracht voor de oude problemen van alle raid constructies.
Dat is nogal een statement waar iedereen anders over denkt.

Ik heb amper getest met de 6.x beta versies met btrfs omdat ik bewust was van de grote problemen met btrfs en raid 5+ daarvan was toen al bekend niet goed te werken. Het zal zeker in de toekomst opgelost worden. Maar dan blijft er wel de vraag bestaan hoe heeft men de communicatie geregeld.

Toen ik nog vol tijd als systeembeheerder/manager werkte liet ik het haast nooit toe dat een software update werd gebruikt in een bestaande werkomgeving. Deze werden op enkele systemen eerst langdurig getest voor deze in de werk omgeving werden toegepast.
Ik vergeet nooit meer dat mijn rechterhand tijdens mijn vakantie een update toeliet op windows waardoor meerdere bedrijfs-kritische programma's meerdere dagen niet aan de praat waren te krijgen.
Ja we zijn soms veel te onvoorzichtig kijk naar windows 10 dit dwingt je updates te accepteren en je kan ze niet meer echt weigeren ze worden er gewoon opgekwakt soms zelfs met de meest wazige fouten als gevolg.
Door dit push systeem heb ik windows al meerdere keren in enkele maanden moeten herstellen.

Dus Ben zijn voorzichtige houding is zeker te begrijpen en het kan zomaar zijn dat er later toch gaat blijken dat hun constructie toch niet helemaal zo betrouwbaar is/was dan men daar zo mooi weergeeft.
We zullen het zien zoals ik al eerder aangaf heb ik meerdere backup oplossingen toegepast dus ik ben er vrijwel zeker van dat als het misgaat ik alles weer kan terugzetten. Want als er 1 of zelfs 2 versies kapot zijn heb ik nog steeds 2 andere backups die wel goed zouden moeten zijn.

Het feit dat synology zegt dat zelfs bedrijfs kritische systemen kunnen draaien op btrfs vind ik nog steeds nogal wat.
Want het waarom men dat zegt is ons niet bekend, nergens kan je opmaken hoe men dan dit opgelost heeft.
Al is het maar theoretisch uitgelegd.

Om even een voorbeeld te geven unilever verkocht tandpasta gemaakt met radioactieve stoffen, dit werd verkocht als de beste tandpasta en werd in alle winkels als volledig veilig voor de gezondheid verkocht

Andere zeer bekende zaak: Het amerikaanse leger liet hele divisies militairen en burgers meedoen met de trainingen om jezelf in een schutterput te beschermen tegen een explosie van een kernbom. Dit werd als absoluut veilig beschouwd.
Daar zaten duizenden militairen en burgers op een bepaalde afstanden in dat zand putje of in een school of kantoor gebouw onder jawel hun buro tafel, terwijl ze daar met een zeer schadelijke hoeveelheid radioactieve straling werden bestookt waaraan sommige al vrij snel zijn overleden. Maar uiteraard werd er veel verzwegen als er mensen ziek werden of overleden.
Wij weten nu dat het absoluut veel mensen schade heeft toegebracht en het is niet moeilijk te raden dat er veel mensen gestorven zijn aan de gevolgen van de radio actieve besmetting.
Dat dit uiteraard allemaal in de doofpot werd gepropt moge duidelijk zijn. Pas later ontdekte men de werkelijke gevaren van deze grappen.

Dus conclusie de vraag blijft is het zeker dat synology het goed gedaan heeft... dat is ook voor mij nog niet helemaal duidelijk vandaar dan ook de best wel overkill aantal backups die ik aanmaak.
En ik raad dan ook iedereen aan voor je data die je absoluut niet wil verliezen hetzelfde te doen.
Zorg er gewoon voor dat als de nas een fout maakt je 100% zeker alles wat je absoluut niet kwijt wil ook echt ergens anders hebt staan buiten de woning zodat als er brand uitbreekt. Want als dit gebeurt en je hebt geen backup ben je alles kwijt. Zorg er ook voor dat als je bijvoorbeeld documenten opslaat met winrar dat je ook herstel optie inschakeld van ongeveer 5 tot 10% zodat als er daar schade aan komt deze ook weer kan herstellen.

[Sylvester]

Blijkbaar een 'hot' item want het 'verhit' blijkbaar de gemoederen. Is het niet eenvoudiger om aan te nemen dat een bedrijf zoals Synology zich absoluut niet kan veroorloven om een functie in te bouwen of te gebruiken die mogelijk kan leiden tot data verlies?
Voor mijn interne schijven werk ik al van in het begin met BTRFS file systeem. Ik heb tot nu toe nog geen problemen gehad, behalve een hardwarematige crash van één oude schijf .

[Ben(V)]

Wat hier gebeurt is precies wat ik in m'n eerste post al vertelde dat dit een stammenstrijd zal ontketenen.

Zelf tot op het niveau dat ik er van beticht wordt dat ik iedereen probeer voor te schrijven geen BTFRS te gebruiken.
Het enige wat ik gezegd heb is dat het een file systeem is zonder dezelfde bewezen track record van bijvoorbeeld NTFS en EXT4.

BTFRS zal ongetwijfeld prima werken, alleen een aantal voordelen waarom je voor iets anders dan bewezen technology zou kiezen kunnen simpelweg niet werken in de combinatie BTFRS en mdadm Raid zoals ik uitgelegd hebt.
Daar verandert een marketing statement van Synology niets aan.

Dit zal mijn laatste post in dit topic zijn want ik heb geen zin in emotionele discussies en beschuldigingen, ik probeer enkel de kennis die ik heb te delen in dit forum waar anderen hun voordeel mee kunnen doen.
En of iemand zich er iets van aantrekt of het volkomen negeert moet iedereen voor zichzelf beslissen.

[wopper]

Ben, diverse meningen staan er nu in, van mij mag hij zelfs op slot? Zodat men de info kan vinden en zelf een conclusie kan trekken bij de reactie die het beste past voor die betreffende lezer.

Ik schrijf alleen hoe jouw mening op mij overkomt, ik leg in de andere hoek een vrij stellige mening neer. Dat hoef je niet als persoonlijke aanval te zien op een discussieforum. Misschien is de openings zin een beetje "te". Die zal ik proberen nog wat te nuanceren als ik nog schrijfrechten heb. Er stond een smile achter maar die heeft niet zijn werk gedaan ik had geen intentie om je te kwetsen, als dat wel zo is overgekomen mijn excuses.

Zelfs de beste kok kan niet voor alle monden koken, iedereen kan zijn of haar toepasbaarheid uit dit topic halen. Iedereen heeft een ander karakter, de ene is behoudend, de andere innovatief, de ene een frequente beta tester de andere persoon zal altijd kiezen voor stable packages etc etc.

[wopper]

@Ben(V) Het liet mij technisch toch niet los, de perfect beschreven werking tussen mdadm en het filesystem in dit topic en de uitspraken van Synology marketing.

Synology gebruikt inderdaad eigen trucjes om e.a. beter te beveiligen tegen bitrot. De gap tussen mdadm en het filesystem zoals beschreven in dit topic wordt met wat magie overbrugt. Er is op basis van de mail van Synology hieronder wel communicatie tussen mdadm en het filesystem. Of de magie alles detecteert betwijfel ik maar de afdeling marketing mag er graag mee pronken.


https://www.reddit.com/r/DataHoarder/comments/5yb13m/anyone_using_synologys_dsm_61_able_to_confirm/

I finally climbed the ladder and made it to a high level customer support rep at Synology. His reply confirms what we concluded in the comments below about the BTRFS/mdadm combination.

"Hi,
Thanks for contacting Synology.
This is Andy from the Product Department, and I am happy to answer your question regarding the Btrfs file self-healing feature in DSM 6.1.
In order to provide better stability of the file system, Synology chose Linux RAID over Btrfs RAID by implementing the layers between Btrfs file system and the disks.
This implementation ensures that we have full control of the communication for the highest stability.
In DSM 6.1, we've further strengthen the features on Btrfs file system with the ability to recover bit-rot corruption, also featured as "Btrfs file self-healing."
In order to achieve this goal, all disk read/write operations go through checksum verification to ensure the data consistency.
If checksum mismatch is detected, the file system layer instructs MD layer to read redundant copy (parity or mirror) of the damaged block.
It will then automatically recover the damaged block with the good redundant copy.
With this enhanced protection, we believe general bit-rot corruptions can be recovered automatically by the file system.
I hope above information is helpful and once again, thank you for considering Synology.
If you have further question, please don't hesitate to contact me.
Thanks, -Andy"