Auteur Topic: Rsync foppen  (gelezen 10912 keer)

Offline Ganz

  • Bedankjes
  • -Gegeven: 10
  • -Ontvangen: 1
  • Berichten: 58
Rsync foppen
« Gepost op: 13 januari 2015, 08:15:18 »
ik gebruik om 1 map/folder op de DS212J  te backuppen naar een ander NAS (extern) nu is mijn eigen nas bijna vol.
Dus heb ik een andere NAS gekocht deze hangen beide in mijn LAN. Nu dacht ik, ik maak een nieuwe backup van die ene folder naar de nieuwe NAS.
dit loopt ongeveer met 11 MB/sec. ongeveer 100 Mbit traag dus.

Dus dacht ik,ik ga de eerste bulkload eerst met FTP overzetten (80 MB/sec !!) ongeveer 640 Mbit.  de time stamps van de files komen 1 op 1 over (dus geen nieuw timestamp van de tijd van overzenden)
Start ik daarna een backup dan gaat hij weer ALLES overzetten :(  dus hoe kan ik de boel foppen dat wat ik bedacht heb wel werkt ?

  • Mijn Synology: DS416
  • HDD's: 4 x hus724030

Offline Birdy

  • Global Moderator
  • MVP
  • *
  • Bedankjes
  • -Gegeven: 1399
  • -Ontvangen: 8046
  • Berichten: 44.169
  • Fijne feestdagen.......
    • Truebase
Re: Rsync foppen
« Reactie #1 Gepost op: 13 januari 2015, 10:20:29 »
Wat je hebt overgezet met FTP wordt door de backup niet gezien als een backup, dat is duidelijk.
Ik zie geen mogelijkheid om de backup te "foppen" zodat het gezien wordt als een backup.

De oplossing is, als dat mogelijk is, om die 2 Nassen even bij elkaar te zetten in je LAN (lokaal of op het extern adres), dan de backup maken.


CS406      DSM 2.0-0731    DS508      DSM 4.0-2265      DS411+II  DSM 6.2.4-25556-8   DS115J    DSM 7.1.1-42962-5   DS918+    DSM 6.2.4-25556-8
DS107+     DSM 3.1-1639    DS411slim  DSM 6.2.4-25556   DS213J    DSM 6.2.4-25556-7   DS1515+   DSM 6.2.4-25556-8   DS220+    DSM 7.2.2-72806-2
DS107+     DSM 3.1-1639    DS111      DSM 5.2-5967-9    DS413J    DSM 6.2.3-25426-2   DS716+II  DSM 7.2.2-72806-2   RT2600ac  SRM 1.3.1-9346-12
BeeDrive   1TB             BeeServer  BSM 1.2-65567                                                                 MR2200ac  SRM 1.3.1-9346-12

Ben(V)

  • Gast
Re: Rsync foppen
« Reactie #2 Gepost op: 13 januari 2015, 10:34:03 »
Als je alles overgezet heb met FTP, waarom wil je dat dan nog een keer doen met backup? Of gaat het om de data die na de ftp erbij gekomen is?

Om je data over te zetten is backup helemaal niet handig, je krijgt het dan niet op de plek die je hebben wil en moet daarna alles weer gaan verplaatsen.

Je kunt zoals je gedaan heb ftp gebruiken of het gewoon met fielstation doen.

Offline Birdy

  • Global Moderator
  • MVP
  • *
  • Bedankjes
  • -Gegeven: 1399
  • -Ontvangen: 8046
  • Berichten: 44.169
  • Fijne feestdagen.......
    • Truebase
Re: Rsync foppen
« Reactie #3 Gepost op: 13 januari 2015, 10:36:50 »
FTPen deed hij volgens mij uit noodzaak omdat de backup zo langzaam ging.
Volgens mij wil hij toch echt backuppen en niet FTPen als backup oplossing.


CS406      DSM 2.0-0731    DS508      DSM 4.0-2265      DS411+II  DSM 6.2.4-25556-8   DS115J    DSM 7.1.1-42962-5   DS918+    DSM 6.2.4-25556-8
DS107+     DSM 3.1-1639    DS411slim  DSM 6.2.4-25556   DS213J    DSM 6.2.4-25556-7   DS1515+   DSM 6.2.4-25556-8   DS220+    DSM 7.2.2-72806-2
DS107+     DSM 3.1-1639    DS111      DSM 5.2-5967-9    DS413J    DSM 6.2.3-25426-2   DS716+II  DSM 7.2.2-72806-2   RT2600ac  SRM 1.3.1-9346-12
BeeDrive   1TB             BeeServer  BSM 1.2-65567                                                                 MR2200ac  SRM 1.3.1-9346-12

Ben(V)

  • Gast
Re: Rsync foppen
« Reactie #4 Gepost op: 13 januari 2015, 10:41:36 »
Citaat
Dus heb ik een andere NAS gekocht deze hangen beide in mijn LAN. Nu dacht ik, ik maak een nieuwe backup van die ene folder naar de nieuwe NAS.
dit loopt ongeveer met 11 MB/sec. ongeveer 100 Mbit traag dus.

Volgens mij heeft hij een neiuwe NAS en wil hij z'n data overzetten.

Offline Ganz

  • Bedankjes
  • -Gegeven: 10
  • -Ontvangen: 1
  • Berichten: 58
Re: Rsync foppen
« Reactie #5 Gepost op: 13 januari 2015, 11:14:19 »
klopt :

Nas1 = vol
Nas2 = leeg

ik wil NAS 2 deels vullen d.m.v.  Netbackup/Rsync  omdat dit zo langzaam gaat. dacht ik ik FTP het eerst (factor 6 tot 8 sneller)
dat gaat goed, had eerst problemen met de timestamps van de files, dat is ook opgelost de files behouden hun timestamp van het orgineel nu (op de folder time stamp na)

Start ik daarna Netbackup, die gaat vrolijk opnieuw beginnen en dus alles overzetten, omdat hij "denkt" dat de source anders is dan de target. is er een manier om dit te verhelpen , of kan het op een hele andere manier ?

Bedenk met net tijdens ik dit type, kan het met het acrchive bit te maken hebben ?
  • Mijn Synology: DS416
  • HDD's: 4 x hus724030

Ben(V)

  • Gast
Re: Rsync foppen
« Reactie #6 Gepost op: 13 januari 2015, 11:31:04 »
Aha je wilt daarna "shared folder sync" gebruiken.
Backup is iets heel anders.

Shared folder sync gebruikt rsync en bij mijn weten kijkt rsync alleen naar size en mtime (modification time).
Dus als je alleen de creation time overgezet hebt dan denkt rsync dat alles gedaan moet worden.
Ook die folder tijden die anders zijn kunnen een probleem zijn.

Blijft de vraag waarom je niet alles met ftp overzet.
Zelf heb ik het gewoon met File Station gedaan, werkt ook prima.

Offline Hofstede

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 10
  • -Ontvangen: 1457
  • Berichten: 6.103
Re: Rsync foppen
« Reactie #7 Gepost op: 13 januari 2015, 11:35:39 »
Nee, hij heeft het over de netbackup. Dus de backup-functie van de NAS, niet de shared folder sync. De backup functie maakt op de achtergrond ook gebruik van rsync.

Helaas houdt de NAS in een paar extra files bij welke files hij gebackupt heeft en wanneer, zodat hij bij de volgende keer niet alles hoeft te backuppen. Maar als je eerst de data overzet heeft hij die files nog niet gemaakt en zal hij alles gewoon opnieuw kopieren. Er is geen methode om de backup functie te "foppen".

Offline Ganz

  • Bedankjes
  • -Gegeven: 10
  • -Ontvangen: 1
  • Berichten: 58
Re: Rsync foppen
« Reactie #8 Gepost op: 13 januari 2015, 11:38:05 »
ik kan natuurlijk alles met FTP overzetten :)
maar dan heb ik het volgende probleem, ik heb een folder die ik met netbackup backup/synch met een andere NAS over Internet
dus als ik die keuze maak, gaat hij 2 TB over internet gooien. ik wil graag die 2 TB zo houden als het is aan beide kanten :)

  • Mijn Synology: DS416
  • HDD's: 4 x hus724030

Offline Birdy

  • Global Moderator
  • MVP
  • *
  • Bedankjes
  • -Gegeven: 1399
  • -Ontvangen: 8046
  • Berichten: 44.169
  • Fijne feestdagen.......
    • Truebase
Re: Rsync foppen
« Reactie #9 Gepost op: 13 januari 2015, 11:40:50 »
Dus, is volgens mij de oplossing: « Reactie #1 Gepost op: Vandaag om 10:20:29 »
Citaat
om die 2 Nassen even bij elkaar te zetten in je LAN (lokaal of op het extern adres), dan de backup maken.
Of zie ik dat verkeerd.


CS406      DSM 2.0-0731    DS508      DSM 4.0-2265      DS411+II  DSM 6.2.4-25556-8   DS115J    DSM 7.1.1-42962-5   DS918+    DSM 6.2.4-25556-8
DS107+     DSM 3.1-1639    DS411slim  DSM 6.2.4-25556   DS213J    DSM 6.2.4-25556-7   DS1515+   DSM 6.2.4-25556-8   DS220+    DSM 7.2.2-72806-2
DS107+     DSM 3.1-1639    DS111      DSM 5.2-5967-9    DS413J    DSM 6.2.3-25426-2   DS716+II  DSM 7.2.2-72806-2   RT2600ac  SRM 1.3.1-9346-12
BeeDrive   1TB             BeeServer  BSM 1.2-65567                                                                 MR2200ac  SRM 1.3.1-9346-12

Ben(V)

  • Gast
Re: Rsync foppen
« Reactie #10 Gepost op: 13 januari 2015, 11:57:30 »
Vervelend die terminology.

Als hij geen "shared folder Sync" gebruikt maar Backup dat begrijp ik dat het niet gaat werken om de reden die Hofstede aangaf.
Oplossing is dus "Shared Folder Sync" gebruiken voor die folder die hij over het internet bacuped.

Offline Ganz

  • Bedankjes
  • -Gegeven: 10
  • -Ontvangen: 1
  • Berichten: 58
Re: Rsync foppen
« Reactie #11 Gepost op: 13 januari 2015, 12:39:20 »
ja duidelijk verhaal.... zit niks anders op :( maar ik ben er toch niet helemaal zeker van

Er moet ergens op de NAS worden bijgehouden welke files in aanmerking komen voor een backup toch ?
Als er bekend is waar dat wordt bijgehouden kan je het manipuleren voor 1 keer toch ?
Er zal dus ergens 1 of 2 bits gebruikt worden voor "new" file en "modified file" right ?

Kan ik deze vraag voorleggen aan Synology zelf ?

  • Mijn Synology: DS416
  • HDD's: 4 x hus724030

Offline Birdy

  • Global Moderator
  • MVP
  • *
  • Bedankjes
  • -Gegeven: 1399
  • -Ontvangen: 8046
  • Berichten: 44.169
  • Fijne feestdagen.......
    • Truebase
Re: Rsync foppen
« Reactie #12 Gepost op: 13 januari 2015, 12:46:38 »
Je mag alles voorleggen aan Synology, ben benieuwd.  ;)


CS406      DSM 2.0-0731    DS508      DSM 4.0-2265      DS411+II  DSM 6.2.4-25556-8   DS115J    DSM 7.1.1-42962-5   DS918+    DSM 6.2.4-25556-8
DS107+     DSM 3.1-1639    DS411slim  DSM 6.2.4-25556   DS213J    DSM 6.2.4-25556-7   DS1515+   DSM 6.2.4-25556-8   DS220+    DSM 7.2.2-72806-2
DS107+     DSM 3.1-1639    DS111      DSM 5.2-5967-9    DS413J    DSM 6.2.3-25426-2   DS716+II  DSM 7.2.2-72806-2   RT2600ac  SRM 1.3.1-9346-12
BeeDrive   1TB             BeeServer  BSM 1.2-65567                                                                 MR2200ac  SRM 1.3.1-9346-12

Offline Hofstede

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 10
  • -Ontvangen: 1457
  • Berichten: 6.103
Re: Rsync foppen
« Reactie #13 Gepost op: 13 januari 2015, 12:48:25 »
Zoals ik al zei: In de backup destination folder worden een paar extra files door Synology geplaatst die deze data bijhouden.

Ben(V)

  • Gast
Re: Rsync foppen
« Reactie #14 Gepost op: 13 januari 2015, 13:01:03 »
ja duidelijk verhaal.... zit niks anders op :( maar ik ben er toch niet helemaal zeker van

Er moet ergens op de NAS worden bijgehouden welke files in aanmerking komen voor een backup toch ?
Als er bekend is waar dat wordt bijgehouden kan je het manipuleren voor 1 keer toch ?
Er zal dus ergens 1 of 2 bits gebruikt worden voor "new" file en "modified file" right ?

Kan ik deze vraag voorleggen aan Synology zelf ?

Blijkbaar is het verhaal nog niet echt duidelijk.
De titel van je topic heeft het over rsync en voor de rest spreek je over backup.

Wat gebruik je nu rsync of backup?
Met backup kan dit nooit gaan werken want die maakt geen copieen van je bron maar een backup set en die houd zoals Hofstede al zei een eigen administratie bij.

Met rsync moet dit wel kunnen, tenzij je met ftp de mtime (=modification time) is aangepast.

rsync heet in DSM "Shared Folder Sync"
Je moet in je target NAS de server aanzetten en dan kun je in je bron NAS een sync maken.

Overigens kun je dit ook gewoon met File Station doen en dan voor skip duplicates kiezen.


 

Rsync backup via andere poort

Gestart door MitchiesBoard Data replicator & overige backupsoftware

Reacties: 8
Gelezen: 4351
Laatste bericht 02 juni 2015, 10:20:32
door Pippin
Synology Drive Back-uptaak of Rsync

Gestart door JerenginaBoard Cloud Station & Drive

Reacties: 4
Gelezen: 1330
Laatste bericht 24 maart 2021, 13:28:38
door sciurius
vanaf NAS met DSM5.2 remote backuppen (rsync) naar USB station 2

Gestart door zakhooiBoard Data replicator & overige backupsoftware

Reacties: 9
Gelezen: 3833
Laatste bericht 12 mei 2016, 10:42:30
door Hofstede
Good practices: Rsync

Gestart door mvveelenBoard Data replicator & overige backupsoftware

Reacties: 0
Gelezen: 443
Laatste bericht 04 augustus 2022, 09:26:13
door mvveelen
VERPLAATST: Good practices: Rsync

Gestart door BirdyBoard Cloud Station & Drive

Reacties: 0
Gelezen: 756
Laatste bericht 04 augustus 2022, 10:25:50
door Birdy