Synology-Forum.nl
Overige software => Data replicator & overige backupsoftware => Topic gestart door: Ganz op 13 januari 2015, 08:15:18
-
ik gebruik om 1 map/folder op de DS212J te backuppen naar een ander NAS (extern) nu is mijn eigen nas bijna vol.
Dus heb ik een andere NAS gekocht deze hangen beide in mijn LAN. Nu dacht ik, ik maak een nieuwe backup van die ene folder naar de nieuwe NAS.
dit loopt ongeveer met 11 MB/sec. ongeveer 100 Mbit traag dus.
Dus dacht ik,ik ga de eerste bulkload eerst met FTP overzetten (80 MB/sec !!) ongeveer 640 Mbit. de time stamps van de files komen 1 op 1 over (dus geen nieuw timestamp van de tijd van overzenden)
Start ik daarna een backup dan gaat hij weer ALLES overzetten :( dus hoe kan ik de boel foppen dat wat ik bedacht heb wel werkt ?
-
Wat je hebt overgezet met FTP wordt door de backup niet gezien als een backup, dat is duidelijk.
Ik zie geen mogelijkheid om de backup te "foppen" zodat het gezien wordt als een backup.
De oplossing is, als dat mogelijk is, om die 2 Nassen even bij elkaar te zetten in je LAN (lokaal of op het extern adres), dan de backup maken.
-
Als je alles overgezet heb met FTP, waarom wil je dat dan nog een keer doen met backup? Of gaat het om de data die na de ftp erbij gekomen is?
Om je data over te zetten is backup helemaal niet handig, je krijgt het dan niet op de plek die je hebben wil en moet daarna alles weer gaan verplaatsen.
Je kunt zoals je gedaan heb ftp gebruiken of het gewoon met fielstation doen.
-
FTPen deed hij volgens mij uit noodzaak omdat de backup zo langzaam ging.
Volgens mij wil hij toch echt backuppen en niet FTPen als backup oplossing.
-
Dus heb ik een andere NAS gekocht deze hangen beide in mijn LAN. Nu dacht ik, ik maak een nieuwe backup van die ene folder naar de nieuwe NAS.
dit loopt ongeveer met 11 MB/sec. ongeveer 100 Mbit traag dus.
Volgens mij heeft hij een neiuwe NAS en wil hij z'n data overzetten.
-
klopt :
Nas1 = vol
Nas2 = leeg
ik wil NAS 2 deels vullen d.m.v. Netbackup/Rsync omdat dit zo langzaam gaat. dacht ik ik FTP het eerst (factor 6 tot 8 sneller)
dat gaat goed, had eerst problemen met de timestamps van de files, dat is ook opgelost de files behouden hun timestamp van het orgineel nu (op de folder time stamp na)
Start ik daarna Netbackup, die gaat vrolijk opnieuw beginnen en dus alles overzetten, omdat hij "denkt" dat de source anders is dan de target. is er een manier om dit te verhelpen , of kan het op een hele andere manier ?
Bedenk met net tijdens ik dit type, kan het met het acrchive bit te maken hebben ?
-
Aha je wilt daarna "shared folder sync" gebruiken.
Backup is iets heel anders.
Shared folder sync gebruikt rsync en bij mijn weten kijkt rsync alleen naar size en mtime (modification time).
Dus als je alleen de creation time overgezet hebt dan denkt rsync dat alles gedaan moet worden.
Ook die folder tijden die anders zijn kunnen een probleem zijn.
Blijft de vraag waarom je niet alles met ftp overzet.
Zelf heb ik het gewoon met File Station gedaan, werkt ook prima.
-
Nee, hij heeft het over de netbackup. Dus de backup-functie van de NAS, niet de shared folder sync. De backup functie maakt op de achtergrond ook gebruik van rsync.
Helaas houdt de NAS in een paar extra files bij welke files hij gebackupt heeft en wanneer, zodat hij bij de volgende keer niet alles hoeft te backuppen. Maar als je eerst de data overzet heeft hij die files nog niet gemaakt en zal hij alles gewoon opnieuw kopieren. Er is geen methode om de backup functie te "foppen".
-
ik kan natuurlijk alles met FTP overzetten :)
maar dan heb ik het volgende probleem, ik heb een folder die ik met netbackup backup/synch met een andere NAS over Internet
dus als ik die keuze maak, gaat hij 2 TB over internet gooien. ik wil graag die 2 TB zo houden als het is aan beide kanten :)
-
Dus, is volgens mij de oplossing: « Reactie #1 Gepost op: Vandaag om 10:20:29 »
om die 2 Nassen even bij elkaar te zetten in je LAN (lokaal of op het extern adres), dan de backup maken.
Of zie ik dat verkeerd.
-
Vervelend die terminology.
Als hij geen "shared folder Sync" gebruikt maar Backup dat begrijp ik dat het niet gaat werken om de reden die Hofstede aangaf.
Oplossing is dus "Shared Folder Sync" gebruiken voor die folder die hij over het internet bacuped.
-
ja duidelijk verhaal.... zit niks anders op :( maar ik ben er toch niet helemaal zeker van
Er moet ergens op de NAS worden bijgehouden welke files in aanmerking komen voor een backup toch ?
Als er bekend is waar dat wordt bijgehouden kan je het manipuleren voor 1 keer toch ?
Er zal dus ergens 1 of 2 bits gebruikt worden voor "new" file en "modified file" right ?
Kan ik deze vraag voorleggen aan Synology zelf ?
-
Je mag alles voorleggen aan Synology, ben benieuwd. ;)
-
Zoals ik al zei: In de backup destination folder worden een paar extra files door Synology geplaatst die deze data bijhouden.
-
ja duidelijk verhaal.... zit niks anders op :( maar ik ben er toch niet helemaal zeker van
Er moet ergens op de NAS worden bijgehouden welke files in aanmerking komen voor een backup toch ?
Als er bekend is waar dat wordt bijgehouden kan je het manipuleren voor 1 keer toch ?
Er zal dus ergens 1 of 2 bits gebruikt worden voor "new" file en "modified file" right ?
Kan ik deze vraag voorleggen aan Synology zelf ?
Blijkbaar is het verhaal nog niet echt duidelijk.
De titel van je topic heeft het over rsync en voor de rest spreek je over backup.
Wat gebruik je nu rsync of backup?
Met backup kan dit nooit gaan werken want die maakt geen copieen van je bron maar een backup set en die houd zoals Hofstede al zei een eigen administratie bij.
Met rsync moet dit wel kunnen, tenzij je met ftp de mtime (=modification time) is aangepast.
rsync heet in DSM "Shared Folder Sync"
Je moet in je target NAS de server aanzetten en dan kun je in je bron NAS een sync maken.
Overigens kun je dit ook gewoon met File Station doen en dan voor skip duplicates kiezen.
-
ehhhh
https://www.synology.com/en-us/knowledgebase/tutorials/461
bij punt 5 gebruik ik de 2de keuze (omdat het van Synology naar Synology is) dus "Network backup "(Synology Server)
als ik de 3de keuze kies zou het wel werken ?
-
Volgens mij werkt dan de incremental backup niet. Dan zal hij dus iedere keer alle data overpompen. Maar je kunt het natuurlijk even uitproberen.
-
Hij houd die folders in sync.
Maar dat maakt ook niet uit. Is toch maar eenmalig.
-
ja klopt is eenmalig ..... maar het gaat om 2TB en die wil je liever niet over internet .... is die wel een paar weken mee bezig :)
edit: als ik van de echte target die 2 file (in de netbackup files) overzet op mijn 2de nas (de 2de nas is zeg maar de nieuwe)
-
Het simpelste is echt gewoon via File Station.
Bij "Tools" mount je een remote folder en daarna kun je gewoon je data selecteren en een copy doen door rechts te klikken met je muis.
Gaat ook nog sneller dan rsync of backup
-
@Ben(V) Volgens mij begrijp je de bedoeling van @Ganz niet helemaal goed. @Ganz wil niet eenmalig de data overzetten. Hij wil zijn NAS regelmatig backuppen naar zijn nieuwe backup-NAS. Alleen de allereerste volledige backup gaat lang duren en dat wil hij omzeilen.
Als het een eenmalige kopieeractie was had je gelijk.
@Ganz: Met alle respect, maar in het verleden zijn er al diverse mensen die hiermee bezig zijn geweest en er is geen truc. Accepteer nu maar dat de eerste backup je gewoon tijd gaat kosten. Gewoon aanzetten en laten draaien. :D
-
OF, nogmaals dan:
Dus, is volgens mij de oplossing: « Reactie #1 Gepost op: Vandaag om 10:20:29 » om die 2 Nassen even bij elkaar te zetten in je LAN (lokaal of op het extern adres), dan de backup maken.
Of zie ik dat verkeerd.
-
@Birdy: Je hebt gelijk. Maar @Ganz hikt nog steeds tegen het feit aan dat het lang duurt. Het duurt langer vanwege de overhead van de incremental backup en daar moet je een keer doorheen.
Overigens heb ik in de kerstvakantie een keer een nieuwe backup van mijn DS1813+ naar CS407 gemaakt omdat ik de laatste overnieuw had ingericht. Dat was ongeveer 400 Gb en de eerste backup duurde ongeveer een dag. Dus valt het nog wel mee.
-
@Hofstede @Ganz heeft het wel ff over 2TB over internet, stel dat het net zo snel gaat als bij jou, dan is dat toch wel ff 5 dagen (ALS alles goed gaat) en dat valt niet echt mee.
Maar met de snelheid die Ganz heeft wordt dat zelfs 21 dagen :lol:
-
Nee, want als je zijn eerste post goed leest heeft hij de nieuwe NAS al tijdelijk in hetzelfde netwerk gehangen. Het gaat dus niet over internet. In feite heeft hij dus al geprobeerd wat jij voorstelt, maar het gaat hem niet snel genoeg.
En die CS407 van mij is een oud beestje van 8 jaar oud die het behoorlijk benauwd krijgt als de DS1813+ backup data ernaartoe begint te pompen. Neem aan dat zijn nieuwe NAS wel ietsje sneller is. :)
Overigens is het ook zo dat de backup in eerste instantie heel langzaam lijkt te gaan omdat de NAS eerst een boel rekenwerk doet alvorens te gaan kopieren. Meestal zie je bij een dergelijke grote backup pas na een uur de reeele overdrachtssnelheid.
-
Je hebt helemaal gellijk @Hofstede :oops:
Echter het een feit blijft wel gelijk "Nu dacht ik, ik maak een nieuwe backup van die ene folder naar de nieuwe NAS. dit loopt ongeveer met 11 MB/sec.
-
@Ben(V) Volgens mij begrijp je de bedoeling van @Ganz niet helemaal goed. @Ganz wil niet eenmalig de data overzetten. Hij wil zijn NAS regelmatig backuppen naar zijn nieuwe backup-NAS. Alleen de allereerste volledige backup gaat lang duren en dat wil hij omzeilen.
Als het een eenmalige kopieeractie was had je gelijk.
@Ganz: Met alle respect, maar in het verleden zijn er al diverse mensen die hiermee bezig zijn geweest en er is geen truc. Accepteer nu maar dat de eerste backup je gewoon tijd gaat kosten. Gewoon aanzetten en laten draaien. :D
Vrees dat jij hem niet begrijpt.
Hij heeft twee NAssen eentje thuis en eentje remote.
Hij doet nu regelmatig een backup van z'n thuis NAS naar z'n remote Nas.
Dat werkt allemaal prima.
Hij heeft voor z'n thuis NAs echter een nieuw model gekocht en wil z'n data van de oude thuisNAS naar z'n nieuwe thuisNAS overzetten.
Dat heeft hij met ftp gedaan.
Echter de data die hij backuped naar z'n remote NAS heeft hij nog niet gedaan, want hij is bang dat als hij dat doet de backup opnieuw gaat lopen naar z'n remote NAS en dat wordt te veel over het internet.
Hij zoekt een manier om ze backup te foppen zodat de remote NAS niet denkt dat er nieuwe data staat.
-
Grappig. Ik lees uit zijn eerste post dat hij een nieuwe NAS heeft gekocht ter vervanging van de NAS die remote opgesteld staat. Hij backupt een map van zijn DS212J naar die nieuwe remote NAS. Goed, dat moet de OP dan maar duidelijk maken. Maar ook in dat geval zal het foppen niet lukken omdat de remote NAS de nieuwe NAS ziet als een andere machine die hij moet opslaan naast de reeds bestaande backup van de oude NAS en dan is Birdy's voorstel nog steeds het beste.
-
Hoi benv heeft het juist. Precies zoals hij het zegt.
Ik wil dus "gewoon" alle data van nas oud naar nas nieuw"
En het liefst op zo'n manier dat als ik klaar ben, en de Back-up start er GEEN 2 TB over het internet gaat.
Op wat voor manier ik de data migreer maakt me op dit moment niet meet uit.
Dat komt wel goed op de een of andere mandier......
Mocht het echt niet lukken kunnen, kan ik dan een schedule instellen die x aantal uur per etmaal loopt ? Of mag ik dat proces niet onderbreken ? ( ik dach dat dat wel mogelijk moet zijn)
Dan laat ik hem lopen van 01 uur tot 17:00 uur of zo :)
-
Ok. Dan zat ik op het verkeerde spoor, omdat je sprak over backup naar je nieuwe NAS.
In dat geval is de snelste manier de data over te zetten naar je nieuwe NAS met FileStation.
Dan het probleem met de remote backup. Iedere NAS die een backup maakt naar die backup NAS krijgt zijn eigen directory in de backup folder. Logisch natuurlijk omdat je anders niet meerdere NASsen naar dezelfde backup NAS kunt laten backuppen. Die zouden dan elkaars data overschrijven. Wat je zou kunnen proberen is een backup te starten en te kijken welke directory op de remote NAS wordt aangemaakt voor de nieuwe NAS. Dan op de remote NAS de data uit de backup directory van de oude NAS verplaatsen naar die van de nieuwe. Heb echter geen flauw idee of dat ook echt werkt.
-
Waar het om gaat is, hoe bepaalt backup dat een bestand gewijzigd is?
Gebruikt hij een crc of kijkt hij naar atributten zoals date/tijd , size, of het archive bit?
-
Rsync kijkt normaalgesproken naar datum, tijd en grootte. Het kan ook met crc maar dat moet je opgeven en is erg traag. Gezien de snelheid van de backup ga ik er van uit dat crc niet aangezet is door Synology.
-
Als hij rsync voor de backup naar z'n remote NAS, gebruikt kan hij dus het beste File Station gebruiken om de data naar de nieuwe NAS te kopieeren.
File Station zal de datum-tijd en size niet wijzigen.
-
Klopt. Maar de backup locatie op de remote NAS is leeg, daarom zal de backup alles willen kopiëren. Omdat hij denkt dat de file op de backup NAS nog niet bestaat. Zoals ik al eerder schreef heeft iedere NAS zijn eigen backup directory op de backup server. Je zult ook de data op de backup server eerst moeten verplaatsen van de backup-directory van de oude NAS naar die voor de nieuwe.
-
Nee die is niet leeg.
Die heeft gewoon de backup van de oude NAS aan boord.
Hij wil gewoon voorkomendat die er nogmaals heen gebackuped worden
Rsync maakt geen backup sets. Die heeft gewoon twee shares die hij in sync houd.
-
Ik zal het anders proberen uit te leggen.
De backup functie van de NAS gebruikt rsync, maar er zit ook extra functionaliteit in. Het is dus niet puur rsync.
De backup wordt op de backup (remote) NAS weggeschreven naar de share NetBackup.
Stel de oude NAS heet NAS1. De backup van de oude NAS wordt door de backup server automatisch weggeschreven in de folder NetBackup\NAS1.
Voor elke verschillende NAS wordt in de share NetBackup namelijk een unieke folder aangemaakt zodat je meerdere NASsen naar dezelfde backup server kunt wegschrijven.
Stel de nieuwe NAS heet NAS2. De backup van de nieuwe NAS wordt door de backup automatisch weggeschreven in de folder NetBackup\NAS2.
De folder NetBackup\NAS2 is nieuw en dus leeg. Dus zal de eerste backup alle data van de nieuwe NAS opnieuw gaan opslaan in Netbackup\NAS2. Voor de backupserver is het gewoon een andere unieke NAS.
Wil men de backup data van de oude NAS hergebruiken en voorkomen dat die weer helemaal opnieuw wordt geschreven dan zal men dus op de backup-server alle backup data van de oude NAS uit de folder NetBackup\NAS1 moeten verplaatsen naar NetBackup\NAS2.
Overigens kan het zijn dat dit dan nog niet werkt omdat de backup server in een aparte folder onder Netbackup\NAS1 nog wat extra data wegzet in een gegevensfile.
Hopelijk ben ik nu duidelijk geweest.
-
Ja ik snap het.
Was even in de war met "shared folder sync", die ook rsyn gebruikt.
-
Mijn 5 centen
TS kan gebruik maken van Nas1 -> Nas2
- Rsync = 1 op 1 copie, met controle (per bestand?) of er iets gewijzigd is.
- Timebackup = uitsluitend gewijzigde bestanden, hierbij (aanname van mij) een 'catalog' bijgehouden wat al gecopieerd is.
- Synology data backup= vergelijkbaar met Rsync
- Synology volume backup = vergelijkbaar met (/lijkt op) Timebackup. Bij deze weet ik dat er een 'catalog' bijgehouden wordt van alle al gebackupte bestanden volgens mij in @img_bkp_repo op de destination NAS.
Alle bovenstaande mogelijkheden kunnen via het internet en natuurlijk ook lokaal.
-
even een update ....
ik ben nog steeds bezig met data overzetten van NAS_oud naar NAS_nieuw (LAN >> LAN )
Dit doe ik nooit meer op deze manier, de volgende keer hang ik er een USB harddisk aan 600 MB per minuut is niet echt snel.
ik heb in totaal 3,5 TB over te zetten ( dus ook folders waar geen backup van gemaakt wordt) = dus 97 uur :(
Als de data over is ga ik de backup weer starten maar dan via WAN, ik hoop dat niet alles gaat overzetten........
-
Het is gelukt :)
Dit is wat ik gedaan heb uiteindelijk:
1) de folder waar het om ging (2 TB) nog een keer backuppen naar de nieuwe NAS met "Netbackup"
2) op de nieuwe nas een kleine folder backuppen naar NAS over het internet (o.a. m de nieuwe config files we te laten schrijven)
3) de folder van 1 op de nieuwe nas verplaatsen naar de orginele lokatie, deze lokatie toevoegen bij de taak uit stap 2
4) backup starten dit liep ongeveer 10 minuten er er is NIKS (in dit geval dus goed :) ) overgezet over internet
Als exta test heb ik nieuw files onder de folder geplaatst en weer een backup getart, deze kwamen keurig over. dus ik ben helemaal blij !!