Geheugen capaciteit komt niet overeen

[maxvkva]

Hallo allen,

Ik zit een beetje met het probleem dat de aangegeven capaciteit van de hard disk die ik gebruik niet overeenkomt met de NAS. Ik heb een externe HD van 2TB aan mn laptop geplakt, deze is met de cloud station drive app direct verbonden met mijn NAS. Alles wat op deze schijf komt wordt direct naar mijn NAS geupload ter backup. Mijn nas beschikt over een hard disk van 4 TB, en heeft verder geen enkele functie of verbinding met andere hardware.

En toch geeft mijn harde schijf op mijn laptop aan dat er 1,29 TB gebruikt is, en de hard disk op mijn NAS geeft 2.53 TB aan (zie ook het verschil tussen 1.18 TB en 2.53 TB op de NAS die ik niet kan verklaren).


HD NAS (4 TB)


HD laptop (2 TB)

Ik kom er niet uit waar dat verschil nou in zit en hoe ik de HD van de NAS zo kan opschonen dat hij ook weer op 1,29 TB uit komt. Daarnaast is de file count ook aanzienlijk hoger op de NAS.

Ik heb het vermoeden dat het iets te maken heeft met trash files. De cloud station drive wilt wel eens rare kuren vertonen dat ik een hele folder verwijder in de finder van mijn mac, om diezelfde folder een paar dagen later weer op dezelfde plek te zien staan (dit gebeurt vermoedelijk icm inactief staan van de cloud station drive app toen ik de folder had verwijderd). Waarschijnlijk relevant: Ik heb ook ruim 500 GB aan trash files verwijderd van mijn laptop HD nadat ik hem had gescand met DaisyDisk en erachter kwam dat er enooorm veel hidden space in gebruik was van deze hidden files, vermoedelijk dus al die files die ik eerder had verwijderd en vanzelf weer terug kwamen. Ik vermoed dat hier dus ook iets mis gaat waardoor de NAS HD veel meer ruimte gebruikt.

Hoe kan ik zorgen dat alle cijfertjes weer mooi met elkaar kloppen en te herleiden zijn?





UPDATE:

Ik heb net deze instelling gevonden in de cloud station drive app die hiermee te maken lijkt te hebben. Het lijkt mij beter om toch de onderste optie te selecteren om dit probleem in het vervolg te voorkomen? Ben alleen wel bang voor het verliezen van bestanden (zonder mijn weten en bedoeling) als ik voor deze optie ga en er gaan dingen mis, of is die angst onterecht?

[Briolet]

deze is met de cloud station drive app…
…En toch geeft mijn harde schijf op mijn laptop aan dat er 1,29 TB gebruikt is, en de hard disk op mijn NAS geeft 2.53 TB aan

De "cloud station drive" is ook niet bedoeld voor backup, maar voor synchronisatie. Voor dat doel wordt er, onder water,  van elke file op de nas een shaduwfile opgeslagen om gewiste files te kunnen recoveren. Dat onder water deel zie je niet altijd in gebruikte ruimte.

Lees de uitgebreide help hierover eens diepgaand om te begrijpen hoe deze cloud station drive werkt.

[maxvkva]

Je zit denk ik wel in de goede richting, maar ik kom er nog steeds niet helemaal uit.

aller eerst heb ik de cloud station drive optie gekozen om te backuppen omdat ik dan ook met mijn telefoon bij de bestanden op de NAS kan. Ik had alleen niet gerekend op eventuele shadow files of vorige versies die opslag vreten. Is er een optie om die functionaliteit uit te zetten? Het liefst zou ik gewoon mijn laptop HD 1 op 1 met mijn NAS HD synchroniseren, zonder shadow files of vorige versies.

[Birdy]

Dat regel je in "Drive Admin Console" > Rotate version count.

Dus, zoals aangegeven:

Lees de uitgebreide help hierover eens diepgaand om te begrijpen hoe deze cloud station drive werkt.

[Briolet]

Ik heb een externe HD van 2TB aan mn laptop geplakt, deze is met de cloud station drive app direct verbonden met mijn NAS…
…omdat ik dan ook met mijn telefoon bij de bestanden op de NAS kan.

Het idee van de nas is juist dat je alles centraal opslaat. Dus waarom die HD aan de laptop hangen en niet direct aan de nas?

Het inrichten van een gesynchroniseerde map is er vooral voor als je off-line toegang tot je bestanden wilt hebben.

En of die shaduw-files er zijn, ligt ook aan het gekozen bestandsysteem. Zie help voor detail's.

[maxvkva]

Alright, ik ben wat stapjes verder. Om te beginnen bedankt voor de hulp tot nu toe, heeft me zeker in de goede richting op weg geholpen.

Ik heb inmiddels de cloud station drive app vervangen voor de Drive app (waar ook die drive admin console bij komt). Hij heeft alles geupdate en bijgewerkt. Ik heb ook ingesteld dat het aantal versions op 0 staat, en de recycle bin (die in de Drive app WEL zichtbaar was, in tegenstelling tot bij de cloud station drive) geleegd. Ik had gehoopt en verwacht dat hiermee de ruimte op de NAS HD enorm zou opschonen, maar dit is maar een heel klein beetje gebeurd. De NAS HD staat nu op 2.32 TB used (nog steeds meer dan een TB meer dan wat er op mn laptop HD staat).

dus mijn vraag rest eigenlijk nog steeds:
Waar zit die extra TB opslag en hoe kom ik daar van af?

Ik twijfel nu een beetje om die HD van de NAS gewoon helemaal te formatteren en daarna alles van mn Laptop HD weer opnieuw uploaden naar de NAS via Drive in de hoop dat ik op die manier van de ghost TB af kom.

Het idee van de nas is juist dat je alles centraal opslaat. Dus waarom die HD aan de laptop hangen en niet direct aan de nas?

Ik reis erg veel, mijn NAS dient puur als backup voor alle bestanden die ik met mijn video en fotografie werk maak. Tijdens het reizen heb ik soms erg slechte internet verbindingen, dus om dan continu te moeten vertrouwen op een verbinding met mijn NAS is geen optie.

En of die shaduw-files er zijn, ligt ook aan het gekozen bestandsysteem. Zie help voor detail's.

Dit begrijp ik niet helemaal, en in de help kom ik er ook niet uit. Kan je dit wat verder toelichten?

Na een hoop door te spitten online begrijp ik inmiddels wat je bedoelt met het bestandssysteem (de partitie die op de harde schijf staat ingesteld als ik t goed verwoord), maar ik krijg niet duidelijk hoe ik kan aflezen of uitzoeken welk bestandssysteem ik nou heb en wat dat betekent voor de shadow-files?

Oke! Found it:
RAID type: Basic (without data protection)
File system: ext4

Nu op zoek naar wat dit betekent voor shadow files, maar hulp hierbij wordt gewaardeerd (ben niet zo heel tech savvy wat dit betreft).

[Briolet]

Nu op zoek naar wat dit betekent voor shadow files

De raid instelling bedoelde ik niet. Die shaduw files worden bij Drive alleen aangemaakt bij het EXT filestysteem. Bij dat andere filesysteem heeft Drive dat niet nodig. Maar ik heb dat nooit echt gelezen hoe dat precies zit omdat ik toch EXT gebruik. In de help word het volgens mij wel beschreven.

[maxvkva]

Nee maar onder de Raid instelling had ik toch ook de filesystem benoemd? Die is bij mij EXT4, dus dan zou bij mij dus ook die shadow files aangemaakt worden? Dat zou verklaren waarom ik een TB aan opslag extra heb op de NAS die ik eerst niet kon verklaren.

Dan rest mij nu de vraag, hoe kom ik van die shadow files af, en hoe zet ik uit dat hij dat in het vervolg weer doet (als ik dat niet al gedaan heb door de versions op 0 te zetten)?

EDIT:
Ik begin te denken dat de enige mogelijkheid om van die shadow files af te komen is om de schijf te formatteren, gezien de recycle bin leeg is en de versions al op 0 staat en ik nergens anders online kan vinden hoe ik anders die shadow files kan verwijderen. Als ik ga formatteren is het dan aan te raden om gelijk de BTRFS partitie in te stellen? Ik las dat die partitie sneller is en ook nog eens niet het probleem heeft van die shadow files bijhouden.

[Briolet]

Ik heb geen ervaring met 0 versies. Vind ik gevaarlijk qua dataverlies door synchronisatie. Ik weet niet of veranderen naar 0 versies alleen voor nieuw toegevoegde files geldt, of dat hij terugwerkend alles wist.

[maxvkva]

Ja ik twijfel ook nog over t gevaar daarvan. Mijn motivatie was dat ik op mijn laptop verwijderde bestanden automatisch in de prullenbak komen, die dient als safety-net voor als ik iets heb verwijderd en weer terug wil. Daarnaast is mijn NAS al de backup van mijn bestanden op mijn laptop, dus een beetje krom om die dan nog een keer te backuppen met extra versies als dat alleen maar ruimte in beslag neemt..

But please correct me if I'm wrong or taking too much risk.

Wat is verder jouw visie wat betreft formatteren om van de shadow files af te komen? En dan weer in EXT4 of BTRFS partitioneren?

[Birdy]

Als ik ga formatteren is het dan aan te raden om gelijk de BTRFS partitie in te stellen?

Je NAS ondersteund dat niet, alleen EXT4.

[Birdy]

@maxvkva Wil je niet zo onnodig citeren?
Heb die citaten al 3x verwijderd.

[Briolet]

Het blijft nog steeds een vermoeden dat het Drive is die veel extra ruimte gebruikt. Hoeveel ruimte de database verbruikt kun je in de drive admin console zien. (Staat alles in de help uitgelegd)

Het voordeel van BTRFS bij drive is dat hij niet standaard twee files opslaat om gewiste files te kunnen herstellen. Als je dus veel files in Drive opslaat zou ik zeker BTRFS gebruiken. (Edit: Birdy kent alle nassen beter) En dan zeker met versies omdat je dan niet standaard alles dubbel opslaat.

Gebruik van de opslagruimte:
Drive Admin Console bewaart historische versies van elke wijziging op uw Drive zodat u een specifiek bestand dat per ongeluk werd verwijderd of beschadigd eenvoudig naar een oudere versie kunt herstellen. Deze historische gegevens vereisen extra opslag op uw Synology NAS aangezien versies van een bestand gebaseerd zijn op minstens een volledige kopie van het bestand in kwestie als de basisversie, maar enkel de differentiële gegevens onder verschillende historische bestandsversies worden bewaard. De vereiste opslagruimte voor deze versies kan tot twee keer hoger zijn dan de oorspronkelijk bezette ruimte op de schijf onder het ext4-bestandssysteem. Om deze situatie te vermijden kunnen gebruikers gebruikmaken van de in het Btrfs-bestandssysteem ondersteunde functie Snapshot Replication die geen bijkomende opslagruimte vergt voor bestandsversiebeheer.

[Briolet]

Uit nieuwsgierigheid heb ik zelf eens gekeken naar het verbruik van data.

Standaard verbruikt mijn database 8,5 GB aan data. (daar wil ik afblijven)



Als test heb ik een paar grote files ter waarde van 13,4 GB op een testshare gezet. Als ik deze share in een teammap verander met 32 versies wordt de database plots 21,8 GB groot.



Dat is precies de grootte van de oude database plus de toegevoegde teammap. Vervolgens heb ik de versiebeheer uitgeschakeld. Bij Cloud Station moest je de versies op 0 zetten. BIj Drive is het minimum 1 versie als versiebeheer aan staat maar je kunt versiebeheer zelf uit zetten. (De naamgeving is dus net iets anders als Cloud Station.)

De database bleef echter even groot. Vervolgens heb ik de optie gebruikt om de database te wissen. Dit had geen effect omdat deze optie alleen gewiste bestanden verwijderd. Blijkbaar niet de interne kopie.
Tenslotte heb ik de teammap weer uitgezet. Dit zorgt wel voor het wissen van de database, die direct weer 8,4 GB groot werd.

Als volgende test heb ik de teammap weer geactiveerd, maar nu direct zonder versies. De database bleef 8,4 GB groot.

Conclusie: Alleen files die toegevoegd worden als versiebeheer uit staat, komen niet in de database. Files die er al in stonden bij versiebeheer, blijven erin staan, ook al zet je versiebeheer uit en wis je de database.

[maxvkva]

Okey, jammer om te lezen dat mijn NAS de BTRFS niet ondersteunt, want ik sla dus al mijn files op in Drive.

Het blijft nog steeds een vermoeden dat het Drive is die veel extra ruimte gebruikt. Hoeveel ruimte de database verbruikt kun je in de drive admin console zien. (Staat alles in de help uitgelegd)

Bij mij staat bij de database used volume: 1.4 TB

Ik kom er niet helemaal uit of dit nou die shadow files zijn of niet.

Bij storage analyzer staat bij de Home folder 1.17 TB.
Maar 1.17 (home folder) + 1.4 (database) = 2.57 en dat komt dan weer niet overeen wat storage analyzer aangeeft bij volume 1, namelijk: 2.32

Conclusie: Alleen files die toegevoegd worden als versiebeheer uit staat, komen niet in de database. Files die er al in stonden bij versiebeheer, blijven erin staan, ook al zet je versiebeheer uit en wis je de database.

Interessante test en conclusie, ik waardeer de moeite! Het was mij ook nog niet helemaal duidelijk dat de data die aangegeven staat bij database boven op de data count komt van de daadwerkelijke bestanden (ik twijfel hier dus nog steeds aan gezien de cijfers die ik hierboven heb genoemd niet kloppen). Maar als dit wel het geval is zou ik dus 1.4 TB moeten kunnen eliminaten.


Ik ben ondertussen zelf m'n complete synced folder uit de drive sync task aan het verwijderen, in de hoop dat als ik de map dan opnieuw sync dat dan de database van 1.4 TB gecleared is.

Dit heeft ook niet gewerkt.