Snelheid grote bestanden

[Pippin]

Goedemiddag,

Eerst even de situatie:
Switch GS105
Nas DS414
PC Windows 7
Cat5e bekabeld

Op één na zijn alle snelheden in orde.
Het volgende doet zich voor:
Wanneer ik een iso van 3,6 GB naar de Nas breng is de snelheid goed, zo tussen 78 en 85 MB/s
Pak ik echter een iso van 7,7 GB is de snelheid een droevige 20 MB/s

Het lijkt alsof er een kantelpunt in bestandsgrote is waardoor de snelheid lager wordt.
Heb nog niet geprobeert dit punt te vinden.

Iemand hier een verklaring voor?

Groet André

[Briolet]

Ik heb geen idee, maar 2^32 is 4.294.967.296

Dus met 32 bit adressering kun je 4.3 GB aansturen. (=4.0 GiB) Als het geen toeval is, zal het hier mee te maken hebben. Misschien is er nu veel extra overhead om via een kunstgreep toch 64 bit te adresseren.

[Ben(V)]

Dit verschijnsel heb ik ook meegemaakt, maar was wel met Windows XP, ik dacht dat dit met windows 7 opgelost was.
Klopt het, dat als je dat grote bestand van je NAS naar je PC copieerd de snelheden wel goed zijn?
Draai jij op je PC windows 64bits of 32bits?

Het heeft iets te maken met de de grote van je paging file, als die kleiner is dan de afmetingen van het bestand krijg je deze effecten.
Ik heb het nooit echt begrepen want met de upgrade naar een Windows 7 (64bits) en een nieuwe computer was het verschijnsel weg.
Ik heb ook een DS414 en gisteren toevallig nog wat snelheids testjes gedaan met een bestand van 8 Gb en dit zou me zeker opgevallen zijn.

PS Net nog even gekeken en mijn paging file heb ik ooit op 9Gb initial en 13Gb max gezet terwijl ik 6Gb geheugen in m'n PC heb. Ik zou zeggen probeer het eens en kijk of het helpt.

Flow Control op je netwerkkaart uitzetten wil de performance ook nog wel eens ten goede komen, maar dat heeft niets met dit verschijnsel te maken.

[Pippin]

Ja Windows 7 64 bits. Mijn gedachten gingen ook die richting op.
Inderdaad alles werkt behalve hetgeen ik omschreven heb.
Ik zal de pagingfile eens vergroten, is nu 1GB.


-briolet
"Misschien is er nu veel extra overhead om via een kunstgreep toch 64 bit te adresseren."
Dit begrijp ik niet helemaal.

[Pippin]

Flowcontrol uitgeschakeld en pagingfile naar 15GB mocht niet helpen.

Briolet? Kunstgreep?

[Ben(V)]

PC gereboot na de verandering in pagefile

Omdat je een pagefile van 1Gb had vermoed ik dat je ook maar 1Gb geheugen in je PC hebt. Dat is op het randje van werkbaar voor een Windows 7 x64 systeem. Daar kan een deel van je probleem liggen.

Verder zou je een teracopy kunnen proberen in plaats van de standaard windows copy. Die laatste is niet voor niets helemaal herschreven voor windows 8 door microsoft.

Teracopy intergreert in je shell dus werkt net zo makkelijk als de gewone windows copy.
Link voor teracopy.
http://codesector.com/teracopy

[Briolet]

Ik heb geen idee voor een oplossing. Ik zie wel dat het smb protocol een bitje heeft om aan te geven dat 64 bit adressering ondersteund wordt:

CAP_LARGE_FILES :  The client sets this to let the server know that it can handle 64-bit file sizes and offsets.

Gebruik je smb of smb2?

Heb je gekeken of http hetzelfde doet? (=WebDAV)

Maar waarschijnlijk ligt het probleem niet in het protocol, maar aan de capaciteit van de PC of het OS zoals Ben hierboven suggereert

[Pippin]

Reboots na wijzigingen instellingen gedaan en elke keer een bootdefrag met Raxco Perfectdisk om de pagefile in één stuk te krijgen, PC heeft 8 GB werkgeheugen.
Zal eens kijken naar Teracopy.

Ik gebruik SMB2, MTU 1500, Jumbo frames haalt niets uit.
Capaciteit van PC lijkt me uit te sluiten:
Asus Z87-A
I5 4670k geklokt op 4.6 Ghz
Geheugen 8 GB op 2400

Ik ga toch nog eens met de instellingen van de onboard netwerk controller spelen.

[Pippin]

Teracopy doet tussen de 54 en 69 MB/s, een heel pak beter dus.
Wat mij opvalt is dat deze via CIFS verbind.

Als ik in filestation kopieer dan zie ik dat ik via http verbonden ben.

[Pippin]

Ok, heb nu met Total Commander gekopieerd, deze verbind ook via CIFS en gaat nog sneller als met Teracopy.
Zowel halen als brengen rond de 70MB/s.
Het zit `m dus waarschijnlijk in http verbinding.

[Ben(V)]

http?
Windows copy werkt gewoon met CIFS hoor (SMB dus) heeft niets met http verkeer te maken.

Total Commander is ook een prima product.
Het is dus gewoon mickeyware dat niet goed is. Zoals ik al zei, microsoft heeft het copy gebeuren niet voor niks herschreven voor windows 8

[Pippin]

Maar in dsm achter verbonden gebruikers staat http als ik met filestation kopieer.
Het is dan toch niet mickeyware die het voor zijn rekening neemt maar filestation?
Doe ik dit met Teracopy of Total Commander dan komen daar dus twee gebruikers bij waarbij erachter staat CIFS.
Heb dus geen Windows copy gedaan, heb ik ook niet vermeld 
Hoe dan ook vind ik het vreemd vinden dat in filestation de "grote bestanden copy" schijnbaar niet goed werkt.
Kan iemand dit uitproberen?

[Hofstede]

Maar wat ik dus niet snap is waarom je FileStation gebruikt om te kopiëren? Dat is leuk om bestanden van afstand op je NAS te zetten, maar in je eigen netwerk gebruik je toch gewoon de verkenner / Total commander etc.
Dat gaat via SMB en is altijd veel sneller dan via http.

Vroeger had FileStation ook een beperking dat je geen files groter dan 4 Gb kon kopiëren. Dat heeft Synology aangepast maar heeft daar wel allerlei trucs voor moeten uithalen, wat dus blijkbaar voor die grote bestanden leidt tot snelheidsverlies.

[Pippin]

Ok Hofstede duidelijk, normaal gebruik ik vrijwel voor alles Total Commander.
Dat die beperking bestond wist ik niet.

Heb net in de firewall gekeken, filestation doet dit via poort 80.
De rest via poort 445.
Heb het nu ook in verkenner geprobeerd, gaat goed.

Heb nu tevens op de netwerk controller Auto Disable Gigabit, Energy Efficient Ethernet, Green Ethernet disabled.
Jumbo Frames en Flow Control had ik al uitgezet.
Grote bestanden gaan nu tussen de 88 en 94 MB/s.

Dank voor jullie hulp.

[Ben(V)]

Oeps mijn fout. Ik ging er automatisch vanuit dat je met de Windows verkenner aan het copieren was.

Ikzelf gebruik Filestation alleen als ik iets tussen twee shares moet copieren.
Als ik dat vanuit Windows doe, dan gaat dat via het netwerk en met filestation is het een lokale move.

Heb geen idee hoe filestation verder werkt, nooit in verdiept maar http gebruiken om bestanden binnen een LAN te copieren lijkt me wat minder.