Synology-Forum.nl

Overige software => File Station => Topic gestart door: blackgoku op 15 maart 2015, 01:01:46

Titel: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: blackgoku op 15 maart 2015, 01:01:46
Volgens mij heb ik dit onderwerp al een keer eerder aangesneden maar kan het nergens meer vinden  :o
Ik heb een DS1513+, DS214+, DS213+ en een DS115j.
Als ik in File Station tussen 2 willekeurige Nassen een map koppel door gebruik te maken van het CIFS protocol (Externe map koppelen)
en ik ga dan bestanden kopiëren van de ene nas naar de andere dan is de snelheid bedroevend traag (tussen 10 en 20 MB/s,
Dit ter wel er 100 MB/s te halen valt.

Ik heb het volgende geprobeerd.
- Jumbo frames (9000) aan en uit.
- De 2 nassen via de router en via de switch aangesloten.
- De DS1513+ en DS214+ zijn middels Link Aggregation aangesloten (ook getest zonder Link Aggregation op de router zelf)


Eigenlijk heb ik naar mijn idee zon beetje alles wel geprobeerd maar de snelheid blijft tussen de 10 a 20 MB/s
Ik hoop dat iemand weet wat het zou kunnen zijn, ik kopieer namelijk erg veel bestanden van de ene nas naar de andere omdat 1 nas als download server dient.
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: Babylonia op 15 maart 2015, 03:05:57
Kijk ook eens wat je kunt opsteken in < DEZE  DRAAD > (http://www.synology-forum.nl/synology-dsm-5-0/iscsi-100-bij-intensief-verkeer-met-pc/)
(Veel kleine bestanden tegenover grote bestanden kan erg veel uitmaken).
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: Ben(V) op 15 maart 2015, 11:36:09
Als ik bestanden kopieer tussen mijn DS414 en mijn DS409 is de maximale snelheid ook zo'n 30MB/s

Mijn DS409 zal wel de bottleneck zijn, want als ik het probeer tussen m'n PC en de DS414 kom ik boven de 100MB/s uit.
Als ik tussen m'n PC en de DS409 probeer is het ook max 30MB/s

Gezien jouw hardware zou ik eigenlijk hogere snelheden verwachten.
Gaat het tussen je PC (of mac) en je NASen wel op hogere snelheden?
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: blackgoku op 15 maart 2015, 16:00:48
@benv
tussen mijn mac en pc heb ik hier geen last van, ik kom dan ook tegen de 100 aan en soms zelfs er over hee
Het zijn trouwens vooral grote bestanden van 1 tot 10 gb en dan meerdere tegelijk (films en serie's)

Ik heb het ook via webdav geprobeerd met het interne adres, maar dan is het helemaal rampzalig
en schiet de CPu van de DS115j in het rood.

Correctie, via op de MAC pro 2009 haal ik met smb 50 MB/s en via afp 80/90 MB/s en met de Macbook uit 2014 haal ik beide bijna het maximale.
Met Jumbo frames aan haal ik trouwens hoge snelheden, maar dat heeft geen verschil op het bovengenoemde probleem.
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: Rizgar op 15 maart 2015, 23:58:23
Ik kan het "probleem" alleen maar bevestigen. Hier een DS412+ en een DS415+ beide met Link Aggregation aan dezelfde (TL-SG2008) switch. Via FileStation en gekoppelde map < 50MB/s en knippen/plakken via bekabelde pc via unmanaged switch aan zelfde switch ~70MB/s.
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: blackgoku op 16 maart 2015, 08:23:17
bij mij is het eerder <20 MB/s verplaatsen of gewoon kopiëren en jumbo frames aan of uit maakt geen enkel verschil.
Het maakt trouwens ook niet uit of ik met de DS214+ vol op aan het downloaden ben of niet, bij het downloaden staat de CPU meestal in het rood.
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: Birdy op 16 maart 2015, 10:59:15
Citaat
CPU meestal in het rood
Kijk eens met top in PuTTY welk(e) proces(sen) dan zoveel van je CPU vraagt op het moment dat je aan het kopiëren bent.

(top laat meer zien dan Broncontrole in DSM).

Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: blackgoku op 16 maart 2015, 22:38:20
Dat de CPU in het rood schiet bij webdav op de DS115j is niet zo gek, zo snel is die niet.
Ik heb trouwens mijn probleem ook bij synology gelegd.
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: Birdy op 16 maart 2015, 22:46:52
Ok.....met WebDav maar, met CIFS ook dan ?
Citaat
Als ik in File Station tussen 2 willekeurige Nassen een map koppel door gebruik te maken van het CIFS protocol (Externe map koppelen)

Maar goed, het ligt bij Synology...ben benieuwd 8)
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: blackgoku op 17 maart 2015, 00:44:58
Nee met CiFS niet, CPu is dan rond de 35 %
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: Ben(V) op 17 maart 2015, 09:20:29
Maakt het nog verschil uit of je de copy start vanuit een zware NAS naar een lichte NAS of andersom?

En hoe snel gaat het tussen twee zware NAssen?
Dus tussen die DS214+ en die DS1513+

Ik heb nog eens een paar testjes gedaan.
Een bestand copieren vanaf m'n DS409 naar een SSD op m'n PC gaat nog veel trager.
Als ik dat door de PC laat doen wordt het een factor drie sneller.

Het probleem zit er volgens mij in dat Filestation (en backup waarschijnlijk ook) als background task kopieerd en dus waarschijnlijk het CPU gebruik beperkt om de NAS niet helemaal plat te leggen door die kopieer actie.

Zal eens een python progje schrijven die iets kopieerd kijken of dat wel snel gaat.
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: blackgoku op 17 maart 2015, 22:51:12
Ik kopieer voornamelijk tussen de DS214+ en de DS1513+, kwa snelheid maakt het niet uit of ik het van de DS214+ naar de DS1513+ of andersom kopieer of plak.

Ik weet trouwens niet hoe snel het intern kopiëren van bestanden gaat in File station, ik zal dit eens testen.
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: Ben(V) op 18 maart 2015, 09:39:46
Oh ik dacht dat toen je schreef dat je kopieerde van Ds naar DS je dat met filestation deed.

Als je dat met een PC of MAc doet dan gaat de data van je DS naar je PC en daarna weer naar de andere DS.
Dat is meer overhead, maar in mijn geval maakt dat geen verschil omdat de bottleneck m'n DS409 is die te weinig CPU power heeft om de volle snelheid te halen.

In jouw situatie zou gezien je hardware toch snelheden tot 80Mb/s moeten te realiseren zijn.
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: Robert Koopman op 18 maart 2015, 09:43:54
Als ik in File Station tussen 2 willekeurige Nassen een map koppel door gebruik te maken van het CIFS protocol (Externe map koppelen)
en ik ga dan bestanden kopiëren van de ene nas naar de andere dan is de snelheid bedroevend traag (tussen 10 en 20 MB/s,

Dit staat in het eerste bericht van dit draadje, hier wist je nog wel hoe snel het met File Station ging?
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: blackgoku op 19 maart 2015, 11:12:54
Ik bedoel dat ik niet wist hoe snel hij intern op de nas zelf bestanden kopieert, dus niet van af een andere nas, maar een USB hdd.
Bij USB 3 is dit trouwens ver boven de 100 MB/s
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: Ben(V) op 19 maart 2015, 11:37:23
Ik weet niet of je jumbo frames aan hebt staan, maar die zou ik dan eerst eens uitzetten.
Ik heb uitgebreidde testen met jumbo frames gedaan tussen mijn PC en m'n DS414 en met zowel mtu's van 4000 en van 9000 en in beide gevallen liep de snelheid terug.
Bij een mtu van 4000 met zo'n 5% en met een mtu van 9000 met zo'n 10%

Zojuist nog eens een test gedaan tussen m'n PC en m'n DS409 en een mtu van 9000 en zie hier de resultaten.
Zonder jumbo Frames
[attach=1]

Met jumbo frames (mtu = 9000)
[attach=2]

Testtool is hier te downloaden:
http://www.techpowerup.com/downloads/1749/atto-disk-benchmark-v2-46/
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: blackgoku op 19 maart 2015, 19:54:35
Als je aan het begint van dit onderwerp leest dan zie je ook dat ik het getest hebt met jumbo frames aan en uit, sterker nog ik merk hier tussen de 2 nassen geen verschil in, maar met het kopiëren van de bestanden met de mac van de nas naar de mac haal ik veel meer snelheidswinst met jumbo frames aan dan met jumbo frames uit.
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: blackgoku op 19 maart 2015, 20:00:36
Ik heb trouwens bericht van Synology:

Dear halfduplex,

Cloud you provide us to collect transfer and debug log about system and Windows File service if you had mount with CIFS in file station ?
(https://www.synology-forum.nl/proxy.php?request=http%3A%2F%2Fi436.photobucket.com%2Falbums%2Fqq86%2Fblackgoku1985%2Fimage.png&hash=7da76bc36987e9e0b716d2612f6830aa852de456)

(https://www.synology-forum.nl/proxy.php?request=http%3A%2F%2Fi436.photobucket.com%2Falbums%2Fqq86%2Fblackgoku1985%2Fsmb_log.png&hash=268c1e40b4f4cf0779b605e940e58403787b11c1)

Then please send us a copy of your kernel log,
both the source and destination, such as download has been processed from DS1513+ to DS115j,
the instructions have been mentioned in below. The Kernel log is a technical log file which can give us more technical information about your system:

    [DSM5.0 and Above]
    1. Log into the DiskStation Manager as admin.
    2. Go to「DSM Menu > Support Center > Support Services > Log Generation」> Select "System"
    3. Select apply and log will be generated to your local computer.
   
We would like to find some clues when file downloading and uploading if possible.

Regards,
Eilon Chien

Technical Support
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: lexeman op 04 april 2015, 17:15:48
Hier het zelfde snelheidsprobleem tussen 2 nassen. Net een nieuwe DS 414slim aangesloten.
Ik begon met filestation een download van ene nas (etrayz) naar andere nas (ds414slim), middels CIFS, met 6mb/s, die vervolgens steeds trager wordt tot onder 1mb/s en dan gaat schommelen maar niet hoger meer komt dan gemiddeld 3mb/s.

Beiden nassen aangesloten op de zelfde router, Linksys E4200, gebruik gemaakt van hoge prioriteit Qos  en LACP geactiveerd.
De overige deelnemers in huis/het zelfde netwerk doen niets anders dan toen ik eerder genoemde 6mb/s haalde.
Daarbij vind ik deze snelheid al bedroevend laag.

Iemand tips? 
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: Hutje op 04 april 2015, 20:54:58
Hoe groot zijn de bestanden ?
Veel kleine, want dan is het te verklaren.
Zijn het grote bestanden, dan is er iets anders aan de hand.
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: lexeman op 04 april 2015, 22:07:44
Ik heb van Nas1 naar Nas2 mijn afbeeldingen gekopieerd 51,4 GB (1010 mappen, 31261 bestanden)
Hierbij zag ik tussentijds dat de DS414slim de afbeeldingen aan het converteren was, maar deze heb ik tijdens het kopiëren onderbroken. Hier zag ik geen verschil in snelheid ontstaan overigens.
Titel: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: Hutje op 04 april 2015, 23:52:17
Omdat ieder filesystem bij moet houden wat waar naar toe geschreven wordt, is deze kopieer actie bijzonder traag.
Immers, je NAS 2 is 31261 keer bezig met data wegschrijven, dan het eigen filesystem vertellen waar het naartoe is geschreven, dan weer data ophalen, weer wegschrijven.....etc.etc.
Ik ga ervan uit dat je afbeeldingen variëren tussen de 1 mb en 10 mb.
Je had beter met RAR of ZIP wat mappen kunnen inpakken, tot bijvoorbeeld 250 mb, die dan kopiëren en later alles uitpakken op bestemming.
Dat had sneller gegaan.


Sent from my iPad using Tapatalk
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: Ben(V) op 05 april 2015, 09:09:44
Heb het wel eens getest maar inpakken, versturen en weer  uitpakken kost meer tijd dan alleen versturen.

En dat ging van PC naar NAS waar het inpakken dus op de PC gedaan werd door een cpu die vele malen krachtiger is.
Verder kun je op een NAS volgens mij helemaal niet inpakken, want DSM heeft wel unrar aan boord maar volgens mij kun je daar alleen maar mee uitpakken.
Dus van Nas naar Nas kan dat dan niet.


Edit: inpakken --> uitpakken
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: Birdy op 05 april 2015, 11:34:46
Verder kun je op een NAS volgens mij helemaal niet inpakken, want DSM heeft wel unrar aan boord maar volgens mij kun je daar alleen maar mee inpakken.
Dus van Nas naar Nas kan dat dan niet.
Je bedoelt uitpakken  ;)

Maar goed, DSM kan wel zippen:

[attachimg=1]

Maar daar gaat het verder niet over.
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: blackgoku op 25 mei 2015, 03:31:50
Update:

Na wat heen en weer gemaild te hebben met Synology, kwamen zei tot de conclusie dat ik het maar via FTP moest doen omdat ik zo wel de gewenste snelheid haalde, nou was ik hier achteraf niet zo blij mee omdat ik waak de melding kreeg dat ik bepaalde rechten niet had over een bestand wat ik aan het verplaatsen was van de ene naar de andere nas.

Echter naar de update van DSM 5.1 naar 5.2 was dit probleem verholpen en haal ik via SMB gewoon bijna de voile 100MB/s als ik bestanden verplaats van de ene naar de andere nas  :D
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: Ben(V) op 25 mei 2015, 13:43:46
Gebruik je dan SMB 3 en is daar de snelheidwinst uit te verklaren?
Heb je het al eens geprobeert met smb 2?
Titel: Re: Bestanden kopiëren tussen 2 Nas systemen gaat erg traag (externe map)
Bericht door: blackgoku op 25 mei 2015, 17:49:15
Nee dat heb ik later pas aangezet  :)