Synology-Forum.nl

Overige software => Data replicator & overige backupsoftware => Topic gestart door: ALKMAAR op 25 september 2015, 21:33:05

Titel: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: ALKMAAR op 25 september 2015, 21:33:05
Hallo,
Ik heb in mijn DSplay 415play 2 x 3TB schijven gestopt.
Ik wil feitelijk dat disk 2 een complete kopie is van disk 1.

Als ik dit wil doen via backup en replicatie dan kan ik niet de volume zelf kiezen en moet ik handmatig mapjes aan vinken
Als ik dan gedurende de tijd mapjes bij maak moet ik die steeds opnieuw aanvinken.

Zit ik gewoon te lang naar scherm te sturen dat ik de simpele oplossing niet overzie   :lol: ::) :o
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: ALKMAAR op 25 september 2015, 21:35:51
Kleine toevoeging. Raid1 wilde ik niet kiezen omdat ik dan mijn gehele 2de HD "kwijt"ben.
De backup bedraagt nu nog geen 1 TB en kan de vrije ruimte op disk 2 dan voor andere doeleinden gebruiken.
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: ALKMAAR op 29 september 2015, 07:18:00
Is de vraag ZOOOOO dom dat niemand antwoord...  :lol:
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: Robert Koopman op 29 september 2015, 08:27:42
Even een exacte kopie maken van schijf1 naar schijf2 maken gaat ook niet.
Met backup en replicatie zul je nu eenmaal mappen moeten selecteren wat je wilt backuppen.
Een hele schijf "aanvinken" kan daar niet.
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: Briolet op 29 september 2015, 09:56:25
Ik wil feitelijk dat disk 2 een complete kopie is van disk 1.
Gewoon raid1 of SHR  instellen. Dan zorgt het systeem er automatisch voor dat disk 2 een exacte kopie van disk 1 is.
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: Robert Koopman op 29 september 2015, 10:16:05
Zie #1, dat wil de TS juist niet  ;)
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: rikoos op 29 september 2015, 10:24:02
Makkelijkste is om een script te maken en deze te schedulen.

Dat zal dan iets in de trend zijn van:

Citaat
if [[ file1 -nt file2 ]]; then cp file1 file2; fi

Dit zou ook in de shell van je NAS moeten werken. Ik heb het niet getest aangezien ik op werk zit maar dit moet werken.

Hiermee kopieer je alleen de nieuwe of aangepaste files naar de nieuwe locatie. De eerste keer zal het dus wat langer duren maar daarna pakt het script alleen de aangepaste files op.

Ik weet niet of rsync ook op de NAS staat want anders kan je deze gebruiken, dit is onder Linux het beste om te gebruiken. Dus dat zou je moeten checken.
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: Hofstede op 29 september 2015, 10:43:01
Jazeker staat rsync er op. Dat wordt door de Backup en replicatie functie van de NAS gebruikt.
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: rikoos op 29 september 2015, 11:14:26
Dan moet het helemaal simpel zijn :-)

rsync -a dir1/ dir2 (vergeet niet de / zoals in voorbeeld)

Hiermee kopieer je alles van dir1 naar dir2. Zet dit in een cron job en dan ben je klaar denk ik of ik moet gigantisch fout zitten ;-)
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: ALKMAAR op 29 september 2015, 20:30:03
Allen bedankt ik de oplossing even proberen deze week. Kende dit niet maar dat zegt biets  :D ik zal waarschijnlijk slechts 20% van de functies gebruiken hahaha.

Hoop dat t lukt. Jullie horen !
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: ALKMAAR op 29 september 2015, 22:27:31
Dan moet het helemaal simpel zijn :-)

rsync -a dir1/ dir2 (vergeet niet de / zoals in voorbeeld)

Hiermee kopieer je alles van dir1 naar dir2. Zet dit in een cron job en dan ben je klaar denk ik of ik moet gigantisch fout zitten ;-)


Dacht ik ff te doen... maar loop toch vast...

Kun je me als je het niet te veel moeite vind de stappen met me doornemen...

backup replica
backup bestemming
maken
netwerk backup
kiezen voor rsync server
ipadres is externe ip adres of interen ip? (heb gekozen voor externe)
admin
wachtwoord
ssh niet aangevinkt
backup bestemmingsnaam geeft nas automatisch Rsync Compatible Storage 1

klik ik op pulldown menu voor keuze backup modele ...(systeem denkt)
melding:

kan geen verbinding maken met doel station
controleer het volgende
......

Ik doe vast iets niet goed....
en een cron job is helemaal nieuw voor me  ;D
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: rikoos op 30 september 2015, 09:38:13
Hoi,  ik wil het best voor je bekijken alleen ben ik 2 dagen niet in staat om er wat aan te doen ivm werkreis. Op het eerste gezicht denk ik dat je je interne IP moet kiezen ipv externe want je blijft in je eigen netwerk (sterker je blijft op je eigen NAS). Probeer eerst dat eens of dat al niet voldoende is.

Betreft de crontab, je hebt een package waarmee je het via de synology desktop kan aanpassen (dus grafisch).

1) Installeer eerst repo: http://update.10trum.de/packageupdate/getpackages.php van Synology-Forum.de.
2) Installeer Init 3rdparty
3) installeer cronjob editor

Hiermee is het gelijk veel makkelijker om via de grafische schil je crontab aan te passen. Hou wel in de gaten dat je boven in je nieuwe job ook kiest dat ROOT de uitvoerder van de job is.

Succes en anders kan ik over een paar dagen echt voor je kijken.
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: ALKMAAR op 02 oktober 2015, 08:02:06
Package en cronjob geinstalleerd...
Na openen een layout die zich er niet voor leent om zomaar wat te doen...

Ik wacht hulp en instructie nog even af voordat ik mijn NAS kill  ;D :lol:
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: Ben(V) op 02 oktober 2015, 10:27:25
Het kan veel simpeler.
Maak een bestandje aan met bijvoorbeeld naam rsycn.sh en zet het op een Share op je Nas.
Bijvoorbeeld op Nas/general/rsync.sh

In dat bestandje zet je de volgende regel:
Citaat
rsync -ax --delete /volume1/photo/ volume2/photo
Uiteraard kun je de folders vervangen met de namen die jij gebruikt.
De / achter de eerste photo zorgt ervoor dat er op volume2 niet weer een folder photo aangemaakt wordt, als je die weg laat krijg je volume2/photo/photo
Dat kan soms ook handiger zijn, dan hoef je niet eerst de folder volume2/photo aan te maken.

Ga vervolgens naar het "control panel" en open de "task scheduler"
Klik op "Create" en kies voor een "user defined script".
Vul daar je net aangemaakt script in en denk eraan dat het in de vorm /volume1/general/rsync.sh moet.
Op de tweede tab kiest het schedule dat je wilt hebben.
Klik op OK en je bent "that's it"

Hier vind je meer informatie over rsync en al zijn mogelijkheden.
http://linux.die.net/man/1/rsync

PS Ik gebruik een Engelse versie van DSM dus de menu namen zullen in het Nederlands wel anders zijn, maar daar kom je vast wel uit.
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: ALKMAAR op 02 oktober 2015, 10:32:04
Ben thxs dat je even reageert.
Leuk om te zien dat er VEEEEL meer mogelijk is dan ooit verwacht :-)
Grappig is dat..

Met je uitleg zou ik er wel uit kunnen komen. Waar het me voornamelijk omgaat dat het lijkt dat ik nu evengoed handmatig de nieuwe shares die ik maak dan op moet nemen in het script.

Ik zou graag een soort van RAID 1 situatie willen maar dat niet de hele schijf die in mirror staat gereserveerd is.
Eigenlijk wat jij aangeeft maar dan vanaf de Root van schijf 1. Als ik dat later een map aanmaak dat die dan meteen gekopieerd wordt.

Dit wordt min of meer als suggestie gegeven rikoos maar daar loop ik vast in het proces..

Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: Ben(V) op 02 oktober 2015, 10:39:47
Als je in het bestandje rsync.sh de volgende regel opneemt dat doet hij dat zo.
Citaat
rsync -ax --delete /volume1 /volume2

Hij kopieert dan alles van volume1 naar volume2 en maakt zelf alle folders en subfolders aan.

En rsync werkt incremental, als een bestand op volume2 al bestaat en identiek is aan dat op volume1 dan wordt dat bestand overgeslagen.
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: Hofstede op 02 oktober 2015, 11:10:28
Let op: Als je bovenstaand script draait dan wist hij alles van Volume2 dat niet ook op Volume 1 voorkomt. Dus als je extra data op Volume2 zet (je geeft aan dat je dat graag wilt) dan wordt deze data door het script weer verwijderd.
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: ALKMAAR op 02 oktober 2015, 11:12:00
Mmmm.. dat is een mooie aanvulling... wilde net de script in gaan zetten...

Ik gebrijp dat ik of iets " bijzonders"  wil of het anders had moeten indelen...

Is de oplossing van Rikoos dan misschien dat toch in kader van goed beter best het beste?
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: Hofstede op 02 oktober 2015, 11:16:30
Je zou op Volume2 een backup folder kunnen definieren (bijvoorbeeld Volume2/backup)

En dan als script

rsync -ax --delete /volume1 /volume2/backup

Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: ALKMAAR op 02 oktober 2015, 11:24:40
Als ik jullie goed begrijp dat:
- schijf 1 gebeurd niets mee
- schijf 2 maakt een mirror van schijf 1 in mapjes /volume2/backup/
- wijzigingen die ik (later) op schijf 1 maak worden automtasch meegenomen naar schijf 2 in mapje backup
- en als ik op schijf 2 in een andere map iets opsla... wijzigd dit niet door het script..

Dat zou TOP zijn nl en is mijn casus opgelost  :)
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: Ben(V) op 02 oktober 2015, 13:34:17
Let op: Als je bovenstaand script draait dan wist hij alles van Volume2 dat niet ook op Volume 1 voorkomt. Dus als je extra data op Volume2 zet (je geeft aan dat je dat graag wilt) dan wordt deze data door het script weer verwijderd.

Als je niet wilt dat dit gebreurd dan laat de het "--delete" weg en dan zal rsync alles gewoon laten staan.
rsync is bijzonder krachtig en wat er allemaal mee kan kun je lezen in de link die aangaf.
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: rikoos op 05 oktober 2015, 11:16:27
Oeps... was helemaal vergeten te reageren of het gelukt was... Inmiddels zijn we een stuk verder ;-)

Is het allemaal gelukt?
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: ALKMAAR op 05 oktober 2015, 13:12:08
Goedemorgen, het is nog niet gelukt. De oplossing van Ben deed het nog niet. Ik moet zijn url nog even lezen met in en outs over het commando.

Jou voorstel deed het nog niet. Als je aankunt geven waar ik het fout doe in het stappen plan wat ik heb gegeven zou dat fijn zijn :)
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: Ben(V) op 05 oktober 2015, 13:29:00
Mijn oplossing doet het prima, heb het zelf uitgeprobeert.

Het is overigens handiger een regel per share op te nemen, dan kun je ook nog kiezen om bijvoorbeeld een hele share met minder belangrijke zaken niet op te nemen.
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: ALKMAAR op 05 oktober 2015, 13:54:25
@Ben ik ga t vanavond nog een keer proberen.  Heb op schijf 2 een share aangemaakt en het bestandje erin gezet met jouw voorbeeld naar.  Ingesloten zit het commando minus de delete regel zoals je aangaf.

Taak ingepland maar deed "niets". Ga kijken waar ik een type fout heb gemaakt 😔
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: Ben(V) op 05 oktober 2015, 15:04:43
Als je wilt testen neem dan een folder op volume1 waar iets instaat en een lege folder op volume2.
Maak twee shares aan, een op volume1 en een ander op volume2
Bijvoorbeeld test
Zet een bestandje in de share volume1/test/testbestandje.txt

Dit komt dan in het rsync.sh te staan

rsync -ax --delete /volume1/test /volume2/test

Voeg die rsync.sh toe aan de scheduler en kiest een tijdstip, bijvoorbeeld over twee minuten.
Denks eraan dat linux hoofdletter gevoelig is en je dus de juiste namen gebruikt.
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: ALKMAAR op 05 oktober 2015, 19:25:08
SUPERRRR dat werkt (uiteraard) want je hebt het zelf getest. Ik denk dat ik eerder ergens een typefout heb gemaakt.
Je had het eerder over het --delete weg te laten. Ik wil dit even checken want straks trek ik mijn hele volume 1 leeg  :oops: :S

Wat ik heb:
Volume 1 met diverse shares
Volume 2 met 1 share genaamd /volume2/mirror/mirror.sh

In die sh moet hier dan staan:

rsync -ax  /volume1 /volume2/mirror/

Geeft deze opdracht dan: alle data van volume 1 kopie 1:1 naar volume2/mirror

En is dit incremental dan?
En laat hij dan data die ik op volume 2 set in een andere share gewoon staan? (-- delete weggehaald)
If so.... I AM HAPPY  :lol: :D
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: Ben(V) op 05 oktober 2015, 20:16:55
Mooi dat je het aan de gang hebt gekregen.

Bedenk even goed wat je wilt met die --delete
Als je die weglaat blijven bestanden die je op de source verwijdert oop dde target niet verwijdert.

Je heb dan geen exacte kopie meer, maar misschien wil je dat wel, is ook een soort bescherming tegen per ongeluk verwijderen.
Aan de andere kant loop je wel het risico dat de target disk volloopt.

Lees eens goed door het manual van rsync het is een bijzonder krachtige tool.
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: ALKMAAR op 05 oktober 2015, 21:47:47
Thxs dat is duidelijk. Ik haal op volume 1 bestand X weg dan blijft bestand X nog wel op volume 2 staan in de share map Mirror.

STEL:
ik voeg die --delete wel toe zoals je als eerste suggereerde.
Maar op volume 2 buiten de share Mirror zet ik data... waar ik geen backup van wil...blijft die dan wel gewoon bestaan als de taakplanner de opdracht weer uitvoert?

DUS:
Volume 2
/Mirror (data van volledige schijf 1)
/movies (die ik zelf handmatig toevoeg of verwijder) Blijven die gewoon staan als de rsync commanda weer loopt...
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: Birdy op 05 oktober 2015, 22:05:20
In je bovenstaande bericht heb ik je onnodige citaat verwijderd, lees even. (http://www.synology-forum.nl/vragen-en-opmerkingen-over-het-forum/gebruik-de-citaatknop-met-mate-17838/)
Echter, als je wel een nodig citaat doet, dan niet in het citaat zelf reageren, dat maakt het nog meer onduidelijk.  ;)
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: ALKMAAR op 06 oktober 2015, 07:26:40
rsync -ax --delete /volume1 /volume2/mirror

Dit is de regel die ik heb aangemaakt. BAM elke map welke op volume 1 staat, staat nu ook op volume 2 onder de share mirror.
Alleen de inhoud van die mappen zijn leeg...

Mocht iemand weten wat ik moet wijzigen word dit gewaardeerd en eerlijk =eerlijk ik moet de rsync pagina nog doorlezen...  :oops:

Wat er is gebeurd:
- volume 2 ionder de share mirror is s nu door het script een map aangemaakt met de naam volume 1
- in die map staan alle mappen welke ook op volume 1 staan.
- de inhoud van die mappen zijn leeg
- er zijn mappen aangemaakt, beginnent met een @, bijv. @Quarantine of @S2S etc ik denk van applicaties?

Conclussie:
ik moet nodig de manual doorlezen want ik maar ergens een fout.  :geek:
Weet iemand de juiste script  :idea:
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: Birdy op 06 oktober 2015, 09:26:47
Nou ik heb dan ook even getest echter, heb geen 2 volumes op m'n test DS111 ;) maar, het principe werkt hetzelfde, dus mijn test is:

Citaat
rsync -ax --delete /volume1/1 /volume1/backup
Ik backup dus gedeelde map 1 naar backup

....en werkt gewoon:

[attachimg=1]

Citaat
de inhoud van die mappen zijn leeg
DAT is dus erg vreemd.

Citaat
er zijn mappen aangemaakt, beginnent met een @, bijv. @Quarantine of @S2S etc ik denk van applicaties?
Dat zijn verborgen mappen en horen bij /volume1.

Overigens, zie je ook niet de files beginnende met aquota in /volume2/mirror/volume1 ?
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: Ben(V) op 06 oktober 2015, 09:52:43
Heb je in de scheduler aangevinkt dat de taak met admin rechten uitgevoerd moet worden?
Ik heb het op dezelfde manier als Birdy getest, dus het zal wel liggen aan het feit dat je een heel volume als bron neemt.

Je kunt ook nog even proberen die x weg te laten.
Die zegt dat hij geen File system boundaries mag overscheiden, ik dacht dat dat alleen voor de bron of de target was maar misschien niet.

Ik zou overigens ik als ik jouw was niet volume1 als bron nemen maar voor elke share die je op volume1 hebt staan een regel opnemen.
Als je het hele volume neemt krijg je ook de hidden folders mee waar de packages op staan, daar kun je toch niets mee want die zitten via DSM vast aan volume1.
Ook krijg je nog een aantal andere hidden folders mee die DSM zelf gebruikt en waar je ook niets mee kunt.
Je rsync.sh zou er zo uit komen te zien.
Citaat
rsync -ax --delete /volume1/video /volume2/mirror
rsync -ax --delete /volume1/photo /volume2/mirror
etc .etc.
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: ALKMAAR op 06 oktober 2015, 20:16:20
Even een reactie nav de post van Bridy en Ben

@BEN:
- Taak aangevinkt als admin
- ik heb de x nu weggelaten...even testen
- zijn idd hidden folders... maak ik geen dingentje van
- ik wil geen folders handmatig benoemen... dat dwingt me tot een discipline dat ik als ik een nieuwe share maak de rsync aan moet passen

@Birdy
- zie je ook niet de files beginnende met aquota in /volume2/mirror/volume1 ?
Nee die zie ik niet...
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: ALKMAAR op 06 oktober 2015, 20:19:51
Nou.... dan denk ik dat het werkt... het zat mogelijk in de X die ik nu weg heb gelaten.

Ik ben er blij mee dat nu mijn volume 1 gemirrored is naar 2.

Gewoon nog voor nice to know... Kun je zien dat er een script op de achtegrond bezig is... of hoever hij is?
Ik merk nl. dat de schijf erg snel 1:1 over is gezet... Maar geen idee of hij hem nu helemaal om heeft gezet.

In iedergeval SUPER bedankt voor jullie input!
Titel: Re: simpel volume 1 naar volume 2... maar gaat toch niet
Bericht door: Birdy op 06 oktober 2015, 20:34:03
Citaat
Kun je zien dat er een script op de achtegrond bezig is
In Bron Controle
of in PuTTY met commando: top
of met commando: ps |grep <scriptnaam>

Citaat
of hoever hij is
Wat je aan het script kunt toevoegen:

rsync -av --delete /volume1 /volume2/backup > /volume2/<map>/<naam>.log
En die file kan je dan uitlezen in File Station of in PuTTY met het commando: tail -f /volume2/<map>/<naam>.log (hiermee zie je de voortgang realtime).