SABNZBD moeite met grote bestanden

[amren]

Hallo,

ik draai SAbnzbd 0.4.9. op mijn DS109...alles gaat prima totdat ik bestanden boven de 20 gb ga downloaden.
DVD5 en DVD9 gaan prima, maar zodra het HD wordt en dus meer dan 20 gb per film dan krijgt hij er moeite mee.
De snelheid gaat fluctueren tussen 1200 kb/s tot soms maar 150 kb/s. Ik krijg het idee dat de DS109 ergens heel druk mee bezig is, maar 't s geen downloaden.

Kan het zijn dat buffers/log bestanden vol raken? Maar allerbelangrijkst: kan ik hier wat aan doen? Ligt dit aan sabnzbd (software probleem) of ligt dit aan mijn NAS?

[amren]

ben ik dan echt de enige?

[Anonymous]

Nee,

Dat ben je niet. Ik heb het ook.

bestanden tot zo'n 12gig zijn geen probleem. Daarboven duurt het heel erg lang om ze binnen te krijgen. Het gekke is overigens ook dat mijn downloadsnelheid wel overeind blijft volgens Sabnzbd+ maar echt binnenkomen doet het kennelijk niet. Het lijkt alsof Sabnzbd+ op zo'n moment de binnenkomende data niet kwijt kan. Misschien omdat dit op de systeempartitie van de Synology gebeurd en die dan vol raakt(?). Heel Sabnzbd+ is op zo'n moment ook slecht benaderbaar bij mij en het wisselen tussen bv queue en history duurt tijden. De synology-pagina's blijven overigens wel redelijk normaal beschikbaar.
Ik heb overigens in de configuratiepagina de cachefolder naar volume2/downloads/cache/ laten verwijzen maar dat mocht niet baten.

Groet,

Jeroen

Diskstation 207+

[amren]

Ik heb precies hetzelfde probleem, en ik vind het ook vreemd dat ik er niemand anders over hoor. Ik heb er een hele botte work-around voor, maar zou liever hebben dat het probleem opgelost wordt.

Bij mij gaat het nog wel goed als sabnzbdplus net draait, maar als het downloaden een tijdje bezig is, reageert de DS (ik heb een 107+), heel traag. Een reboot is het enige dat dan nog helpt. Na een paar uur wordt hij dan opnieuw traag. Om die reden heb ik in de crontab een regel opgenomen dat hij elke nacht automatisch reboot. Dan is de DS 's morgens tenminste nog aanspreekbaar.

Als ik kijk naar de draaiende processen, op het moment dat hij zo traag is, dan valt me op dat onderaan in de proceslijst meestal 2x pdflush staat opgenomen. Ik heb daar eens op gegoogled en het blijkt een bekend probleem te zijn onder linux, wat iets te maken heeft met het niet kunnen wegschrijven van data naar swapmemory, waardoor het systeem zichzelf steeds erger vertraagt en in een soort negatieve loop terecht komt. (heel simplistisch gezegd, google maar eens op pdflush).

Maar goed... 't probleem heb ik dus. Nu de oplossing nog

en dit bericht was van maart 2008...dus nu een jaar later en 't is er nog.

[amren]

http://www.westnet.com/~gsmith/content/ ... dflush.htm

hier staat wel een hoop info over linux tweaken, maar daar durf ik nog niet aan. Iemand hier ervaring mee?

Het verhaal van de link hierboven lijkt wel te kloppen met mijn ervaring. Het is niet dat sabnzbd aan 't repareren of uitpakken is...de ds drive krijgt gewoon te veel bytes voor z'n donder...
vandaag wel een bestand van 24 gb gedownload...toen hij nog 4gb te gaan had werd hij traag, maar hij heeft z'n taak wel afgemaakt. Download snelheid ging naar beneden en 'disk acces' werd erg hoog. Kennelijk geen cpu probleem maar meer memory/hdd...

[amren]

zijn er mensen die hun ervaringen kunnen delen op verschillende types diskstation. Ik ben namelijk van plan een andere aan te schaffen alleen ben ik benieuwd op welke systemen het wel werkt.
Dus op welke systemen is het mogelijk meer dan 15 gb bestanden te verwerken zonder dat sabnzbd blijft hangen?

[thecell]

zijn er mensen die hun ervaringen kunnen delen op verschillende types diskstation. Ik ben namelijk van plan een andere aan te schaffen alleen ben ik benieuwd op welke systemen het wel werkt.
Dus op welke systemen is het mogelijk meer dan 15 gb bestanden te verwerken zonder dat sabnzbd blijft hangen?

Ik heb een DS409 ( met 2x 1TB schijf in mirror ) en ik wil best een test doen. Alleen heb ik vragen en opmerkingen:

1- mijn downloadsnelheid is beperkt tot 220 KBs  
2- waar moet ik op letten? Het is zo dat bij het downloaden de DS 24/24 draait en dan heb ik geen hinder van haperingen of iets dergelijks. En als ze er al zijn dan merk ik ze toch niet op want het kan evengoed in de nacht gebeuren.
3- welk bestand moet ik eens downloaden? FTD-nummer is voldoende.
4- mijn SABnzbd is versie 0.4.11 dus niet dezelfde als de jouwe.
5- kan het zijn dat je zaakje blijft hangen omdat je tegelijkertijd download en uitpakt/herstelt ?

[AJZvZ]

zijn er mensen die hun ervaringen kunnen delen op verschillende types diskstation. Ik ben namelijk van plan een andere aan te schaffen alleen ben ik benieuwd op welke systemen het wel werkt.
Dus op welke systemen is het mogelijk meer dan 15 gb bestanden te verwerken zonder dat sabnzbd blijft hangen?

Ik heb eigenlijk geen problemen meer met sabnzbd+

Wat ik heb gedaan is de nieuwste Synology assistant gedraaid met resourcemonitor en daar zag ik dat de load op de CPU van de Diskstation continue 100% was. Tegelijkertijd zag ik dat de activiteit op het netwerk steeds 5 minuten wel aanwezig(=downloaden van sabnzbd+) was en daarna weer 10 minuten niet met dus gelijkblijvende cpu-load.

Vervolgens ben ik met Putty ingelogd op de Diskstation en het commando "top" gegeven. Je ziet dan een overzicht van de draaiende processen.
Ik zag daar bv dat amuled (dat is de emule-versie die op de Diskstation draait bij gebruik van Downloadstation) veel resources pakken. Downloadstation heb ik nu uitgeschakeld omdat ik toch alleen Sabnzbd+ gebruik. Ook heb ik de DLNA-server uitgezet en waarschijnlijk nog wat services die ik zag staan in het "TOP" overzicht. Overigens is volgens mij "python" in het top-overzicht de service van sabnzd+

Mijn conclusie is dat mijn 207+ simpelweg niet alle services tegelijk aankan. Met de verschillende services uitgeschakeld, heb ik net een heel seizoen van een TV-serie gedownload a 20GB zonder probleem. Sabnzbd+ blijft nu ook steeds goed bereikbaar.

Ik weet natuurlijk niet of dit ook bij jou aan de hand is maar je zou er naar kunnen kijken of dit ook voor jou een oplossing biedt.

Jeroen

[amren]

Ik ben er nog niet achter wat nou precies het probleem is met de DS109 i.c.m. sabnzbd, ik ben inmiddels wel van het probleem af.
Het rare was dat als de DS109 vast liep met bestanden groter dan zo'n 15 Gb dat het niet te zien was in de resources. CPU en geheugen bleven gewoon op redelijke nummers staan (cpu op 50% en geheugen op 20MB). Het rare was wel dat het geheugen wat mij betreft abnormaal laag bleef. Ik heb ook geprobeerd om in sabnzbd articles te cachen en gaf sabnzbd zo'n 70MB ruimte, maar nogsteeds zag ik via DSM 2.2. maar een verbruik van zo'n 40MB geheugen (gek toch?).
Wat van de buitenkant te zien was was dat het LAN status lampje eerst 15 seconden flikkerde, dan stopte, en dan ging DISK vervolgens 15 seconden achtereen knipperen. De downloadsnelheid van sabnzbd was op zo'n moment 100kb/s (normaar zo'n 1300kb/s)...dus ergens een opstopping.
Toch heb ik de gok gewaagt en een DS109+ gekocht. Die heeft dus nergens problemen mee en jaagt zo 50 GB naar binnen.
Waar het dan aan ligt is mijn nog niet duidelijk, maar het moet meer zijn dan alleen geheugen en CPU performance. Tis dan ook wel een feit dat er meer verschillen zijn tussen de standaard en de +serie, namelijk ook in de controllers op het board enzo.
Iedereen bedankt voor z'n feedback!

[Anonymous]

Ik heb een synology ds109 en ik heb dezelfde problemen als hierboven. Gisteren een serie geprobeerd binnen te halen maar Sabnzbd had er grote moeite mee. Het begint goed maar als de download vordert wordt sabnzbd trager. Webpagina is moeilijk te bereiken.
Uiteindelijk was mijn download vanmiddag binnen.

Wat ik dan niet snap, als ik bij history kijk zie ik dat de totale job maar 2 uur heeft geduurd...raar toch?

Iemand al ergens een oplossing weten te vinden? Ik heb voor de rest al de onnodige services uitgezet op mijn synology..

Iemand interesse in een synology ds109?

[Matr1x]

Ik moet bekennen dan mijn DS107+ met SABnzbd 4.11 toch ook problemen geeft. Ik had 7x DVD5 in de queue staan om te downloaden en na de 5e DVD liep het allemaal vast. Nu waren dit ook wel DVD's die allemaal gerepareerd moesten worden en tegelijkertijd controleren, herstellen, uitpakken en downloaden is op een DS107+ niet mogelijk. Ik heb nu Pause downloading during post processing maar aangezet en dan gaat het een stuk beter. Deze stond in vroegere versies overigens standaard aan.

Ik ben er van overtuigd dat het ook te maken heeft met het aantal actieve processen en de grote van je logbestanden. Toch zou je verwachten dat web station, download station, audio station, etc allemaal in sleep mode gaan als je ze niet gebruikt. Blijkbaar valt dit toch een beetje tegen.

Desalniettemin ben ik nog steeds heel teveden met de DS107+ met DM 2.2 en SABnzbd 4.11.

[vries085]

Zelf zag ik op de 106e dat het process kwapd veel cpu gebruikte.
Ik denk dat de traagheid en het vele diskgebruik komt doordat het systeem als een gek geheugen in en uit aan het swappen is.
Er draaien ook aardig wat python processen tegelijkertijd, ik zie er 21 na een reboot van de d106e en vervolgens stoppen van SABnzbd.

Voor de 106e is SABnzb blijkbaar te zwaar.

[Anonymous]

Weet iemand of een synology ds109+ geen problemen met grote bestanden heeft?

Daniel

[vries085]

Waar ik ook nog achter kwam, en wat mischien een betere verklaring kan zijn voor de enorme diskactiviteit bij het downloaden van grote bestanden (50 Mb bij films zie je vaak) is dat de afzonderlijke artikel-bestanden gecached (opgeslagen) worden in directory  '/volume1/@appstore/sabnzbd/sab/cache'.
Als alle artikelbestanden binnengehaald zijn (soms wel 147 stuks), worden ze samengevoegd tot 1 groot .part###.rar bestand.
Bij mij (de ds106e) met 1 disk betekent dat uiteraard heel veel diskactiviteit. wat weer vertragend werkt op de rest van het systeem.

Ik ga nog een keer testen wat een kleinere usb-disk erbij (alleen voor die cache) voor invloed heeft, want ik denk dat het samenvoegen van 1 disk naar een andere disk een stuk efficienter gaat.

Als iemand hier verder nog ideeen/tips over heef, we horen het graag.

[Anonymous]

Waar ik ook nog achter kwam, en wat mischien een betere verklaring kan zijn voor de enorme diskactiviteit bij het downloaden van grote bestanden (50 Mb bij films zie je vaak) is dat de afzonderlijke artikel-bestanden gecached (opgeslagen) worden in directory  '/volume1/@appstore/sabnzbd/sab/cache'.
Als alle artikelbestanden binnengehaald zijn (soms wel 147 stuks), worden ze samengevoegd tot 1 groot .part###.rar bestand.
Bij mij (de ds106e) met 1 disk betekent dat uiteraard heel veel diskactiviteit. wat weer vertragend werkt op de rest van het systeem.

Ik ga nog een keer testen wat een kleinere usb-disk erbij (alleen voor die cache) voor invloed heeft, want ik denk dat het samenvoegen van 1 disk naar een andere disk een stuk efficienter gaat.

Als iemand hier verder nog ideeen/tips over heef, we horen het graag.

Hallo Vries085,

Weet je al iets meer? Wat is de minimum grootte van de USB Schijf? Zou het ook uit willen proberen.

Groet,

Daniel