Auteur Topic: Retrieve werkt out of the blue niet meer  (gelezen 4270 keer)

Offline bartmans99

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 19
  • -Ontvangen: 90
  • Berichten: 735
Retrieve werkt out of the blue niet meer
« Gepost op: 26 maart 2017, 19:18:34 »
Hoi,

Na maanden stabiel gedraaid te hebben, merk ik dit weekend dat mijn uurlijkse retrieve het niet meer doet:

root@Gertrude:/volume1/web/spotweb# /usr/local/bin/php56 retrieve.php --force
PHP Warning:  PHP Startup: Unable to load dynamic library '/var/packages/PHP5.6/target/usr/local/lib/php56/modules/libsodium.so' - libsodium.so.18: cannot open shared object file: No such file or directory in Unknown on line 0
Removing Spot information which is beyond retention period,, done
Last retrieve at Fri 24 Mar 2017 06:34:31 PM CET
Retrieving new Spots from server news4.usenet4u.nl...
Appr. Message count:    3014817
First message number:   2
Last message number:    3014819
Current article number: 3014074

Retrieving 3014074 till 3014820PHP Fatal error:  Allowed memory size of 134217728 bytes exhausted (tried to allocate 105376964 bytes) in /volume1/web/spotweb/lib/dao/Base/Dao_Base_Cache.php on line 281

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 105376964 bytes) in /volume1/web/spotweb/lib/dao/Base/Dao_Base_Cache.php on line 281

Graag hulp!

Bart

Offline dvandonkelaar

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 12
  • -Ontvangen: 161
  • Berichten: 937
Re: Retrieve werkt out of the blue niet meer
« Reactie #1 Gepost op: 27 maart 2017, 07:57:03 »
Hier hetzelfde probleem.
Het verhogen van het PHP memory limit en een reboot van de NAS veranderd tevens niks aan de allowed memory size of 134217728 bytes.
Elders op het internet staat aangegeven dat het werkt om de database leeg te gooien en opnieuw op te bouwen, dit heb ik nog niet geprobeerd maar kan oplossingen bieden.
--
dvandonkelaar

DS415+ 8GB | 2xWD30EZRX en 2xWD30EFRX | RAID5 EXT4 [Productie]
DS211J | 2x WD20EZRZ | RAID1 EXT4 [Backup]
Eaton Ellipse PRO 650 DIN (Schuko)

Offline dvandonkelaar

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 12
  • -Ontvangen: 161
  • Berichten: 937
Re: Retrieve werkt out of the blue niet meer
« Reactie #2 Gepost op: 27 maart 2017, 10:49:56 »
Toch maar besloten om de database leeg te halen en opnieuw op te bouwen.
Momenteel is de retriever al ongeveer 1,5 uur bezig. Of dit de oplossing is zal ik posten wanneer de retriever klaar is (de vorige keer duurde dit ca. 12 uur volgens mij, dus duurt nog wel even).
--
dvandonkelaar

DS415+ 8GB | 2xWD30EZRX en 2xWD30EFRX | RAID5 EXT4 [Productie]
DS211J | 2x WD20EZRZ | RAID1 EXT4 [Backup]
Eaton Ellipse PRO 650 DIN (Schuko)

Offline bartmans99

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 19
  • -Ontvangen: 90
  • Berichten: 735
Re: Retrieve werkt out of the blue niet meer
« Reactie #3 Gepost op: 28 maart 2017, 09:21:55 »
Hoe heb je dat gedaan? De hele dbase verwijderd of alleen de tabellen weggegooid? Is het dan voldoende om een nieuwe retrieve te starten?

Offline dvandonkelaar

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 12
  • -Ontvangen: 161
  • Berichten: 937
Re: Retrieve werkt out of the blue niet meer
« Reactie #4 Gepost op: 28 maart 2017, 11:41:13 »
Dit heb ik gedaan door de databases commentsfull, commentsposted, spots, spotsfull en spotsposted in phpMyAdmin te legen.
Daarna was de spotweb website 'leeg' en heb ik via de commandline een retrieve gedraaid.

Na een paar foutmeldingen is hij nu bezig met de laatste 2 weken aan spots, wanneer dit volledig gelukt is en spots goed via de Synology taakplanner worden opgehaald zal ik mijn bevindingen delen.
--
dvandonkelaar

DS415+ 8GB | 2xWD30EZRX en 2xWD30EFRX | RAID5 EXT4 [Productie]
DS211J | 2x WD20EZRZ | RAID1 EXT4 [Backup]
Eaton Ellipse PRO 650 DIN (Schuko)

Offline bartmans99

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 19
  • -Ontvangen: 90
  • Berichten: 735
Re: Retrieve werkt out of the blue niet meer
« Reactie #5 Gepost op: 28 maart 2017, 19:01:04 »
Bij mij werkte uiteindelijk deze link:
https://www.synology-forum.nl/spotweb/fata-error-bij-update/msg97194/#msg97194

Ik heb de php.ini aangepast in /usr/local/etc/php56/php.ini
Er zijn blijkbaar meerdere versies van dit bestand.

Ik kreeg dezelfde foutmelding als in de genoemde post
Retrieving 3014074 till 3014852PHP Warning:  gzinflate(): data error in /volume1/web/spotweb/lib/services/Nntp/Services_Nntp_SpotReading.php on line 151

Warning: gzinflate(): data error in /volume1/web/spotweb/lib/services/Nntp/Services_Nntp_SpotReading.php on line 151

Maar het werkt wel, sindsdien draaien uurlijkse updates ook weer (nu 4 uur dus so far so good).

(EDIT: /php56 toegevoegd aan pad)

Offline dvandonkelaar

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 12
  • -Ontvangen: 161
  • Berichten: 937
Re: Retrieve werkt out of the blue niet meer
« Reactie #6 Gepost op: 28 maart 2017, 21:33:40 »
Eerst dacht ik dat de oplossing die link niet werkte, had hem al eerder gevonden maar bij mij stond geen php.ini in /usr/local/etc/, deze stond in /usr/local/etc/php56/
Ik heb het geheugen in deze php.ini aangepast en samen met dezelfde foutmeldingen blijft de retrieve wel draaien.

De spots zijn inmiddels binnengehaald en comments zijn nog bezig, doorsturen naar SABnzbd werkt al wel goed dus is het aannemelijk dat hij het nu ook gaat doen.
--
dvandonkelaar

DS415+ 8GB | 2xWD30EZRX en 2xWD30EFRX | RAID5 EXT4 [Productie]
DS211J | 2x WD20EZRZ | RAID1 EXT4 [Backup]
Eaton Ellipse PRO 650 DIN (Schuko)

Offline dvandonkelaar

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 12
  • -Ontvangen: 161
  • Berichten: 937
Re: Retrieve werkt out of the blue niet meer
« Reactie #7 Gepost op: 01 april 2017, 10:48:13 »
Het duurde even, maar mijn database is ook weer volledig hersteld en bijgewerkt. De "gzinflate(): data error" treed ook niet meer op bij het runnen van de retriever.

Het aanpassen van deini_set('memory_limit', '128M'); in /usr/local/etc/php56/php.ini heeft dus tot de oplossing van het probleem geleid, waarschijnlijk hoefde ik de database dus niet leeg te halen.
--
dvandonkelaar

DS415+ 8GB | 2xWD30EZRX en 2xWD30EFRX | RAID5 EXT4 [Productie]
DS211J | 2x WD20EZRZ | RAID1 EXT4 [Backup]
Eaton Ellipse PRO 650 DIN (Schuko)

Offline bartmans99

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 19
  • -Ontvangen: 90
  • Berichten: 735
Re: Retrieve werkt out of the blue niet meer
« Reactie #8 Gepost op: 29 juni 2017, 16:38:48 »
Ter aanvulling. In DSM 6 kun je tegenwoordig in Web Station - PHP instellingen - Geavanceerd - PHP Instellingen - Tabblad Core ook deze wijzigingen (memory_limit) instellen.

Dat is beter want anders blijf je na elke reboot php.ini aanpassen :-).

Offline Eciruam

  • Bedankjes
  • -Gegeven: 13
  • -Ontvangen: 3
  • Berichten: 69
Re: Retrieve werkt out of the blue niet meer
« Reactie #9 Gepost op: 02 juli 2017, 13:09:14 »
Kan het zijn dat de directory php56 verplaatst is?
Mijn retrieve werkt ineens niet meer: /usr/local/bin/php56 /volume1/web/spotweb/retrieve.php
Na een ssh kom ik erachter dat de directory php56 niet bestaat??

Iemand enig idee?
DS216Play - 2x WD40EFZX-68E
DS216J      - 2x WD30EFRX-68E

Offline Birdy

  • Global Moderator
  • MVP
  • *
  • Bedankjes
  • -Gegeven: 1381
  • -Ontvangen: 7978
  • Berichten: 43.979
  • Alleen een PB sturen als hier om gevraag wordt.
    • Truebase
Re: Retrieve werkt out of the blue niet meer
« Reactie #10 Gepost op: 02 juli 2017, 13:33:46 »
Na een ssh kom ik erachter dat de directory php56 niet bestaat??

Is ook geen directory, is een executable file en linked:



CS406      DSM 2.0-0731    DS508      DSM 4.0-2265      DS411+II  DSM 6.2.4-25556-7   DS115J    DSM 7.1.1-42962-5   DS918+    DSM 6.2.4-25556-7
DS107+     DSM 3.1-1639    DS411slim  DSM 6.2.4-25556   DS213J    DSM 6.2.4-25556-7   DS1515+   DSM 6.2.4-25556-7   DS220+    DSM 7.2.2-72806-1
DS107+     DSM 3.1-1639    DS111      DSM 5.2-5967-9    DS413J    DSM 6.2.3-25426-2   DS716+II  DSM 7.2.2-72806     RT2600ac  SRM 1.2.5-8227-11
BeeDrive   1TB             BeeServer  BSM 1.1-65374                                                                 MR2200ac  SRM 1.2.5-8227-11

Offline Eciruam

  • Bedankjes
  • -Gegeven: 13
  • -Ontvangen: 3
  • Berichten: 69
Re: Retrieve werkt out of the blue niet meer
« Reactie #11 Gepost op: 02 juli 2017, 15:38:25 »
Ok my bad, zie het nu.
Het werkt ineens niet meer. Heb nu wel het command kunnen runnen maar krijg:

Fatal error occured while connecting to the newsserver:
(502) Authentication rejectyed [response: "Access Denied (Hit Connection Limit) "] [response: ""]

Gebruik ik andere connecties om te downloaden en krijg daarom deze melding?

Handmatig retrieven lukt wel, vreemd toch?
DS216Play - 2x WD40EFZX-68E
DS216J      - 2x WD30EFRX-68E

Offline Birdy

  • Global Moderator
  • MVP
  • *
  • Bedankjes
  • -Gegeven: 1381
  • -Ontvangen: 7978
  • Berichten: 43.979
  • Alleen een PB sturen als hier om gevraag wordt.
    • Truebase
Re: Retrieve werkt out of the blue niet meer
« Reactie #12 Gepost op: 02 juli 2017, 15:44:53 »
Denk dat je toch teveel connecties tegelijk gebruikt, zet het aantal connecties eens omlaag.


CS406      DSM 2.0-0731    DS508      DSM 4.0-2265      DS411+II  DSM 6.2.4-25556-7   DS115J    DSM 7.1.1-42962-5   DS918+    DSM 6.2.4-25556-7
DS107+     DSM 3.1-1639    DS411slim  DSM 6.2.4-25556   DS213J    DSM 6.2.4-25556-7   DS1515+   DSM 6.2.4-25556-7   DS220+    DSM 7.2.2-72806-1
DS107+     DSM 3.1-1639    DS111      DSM 5.2-5967-9    DS413J    DSM 6.2.3-25426-2   DS716+II  DSM 7.2.2-72806     RT2600ac  SRM 1.2.5-8227-11
BeeDrive   1TB             BeeServer  BSM 1.1-65374                                                                 MR2200ac  SRM 1.2.5-8227-11

Offline Eciruam

  • Bedankjes
  • -Gegeven: 13
  • -Ontvangen: 3
  • Berichten: 69
Re: Retrieve werkt out of the blue niet meer
« Reactie #13 Gepost op: 04 juli 2017, 22:05:28 »
Probleem opgelost. Ik had max connecties ingevuld bij Sabnzbd en blijkbaar zat dat elkaar in de weg. Max connecties lager gezet. Zowel de handmatige retrieve als mijn crontab geven een positief resultaat. Bedankt vh meedenken.
DS216Play - 2x WD40EFZX-68E
DS216J      - 2x WD30EFRX-68E


 

Geen comments - getArticle(): Failed to retrieve article

Gestart door headoutBoard Spotweb

Reacties: 5
Gelezen: 2647
Laatste bericht 04 maart 2017, 17:37:27
door headout
Retrieve.php: String could not be parsed as XML

Gestart door dbornemanBoard Spotweb

Reacties: 5
Gelezen: 8721
Laatste bericht 16 maart 2011, 00:48:02
door cyrus1977
Spotweb Retrieve Error

Gestart door TiestorBoard Spotweb

Reacties: 3
Gelezen: 3490
Laatste bericht 01 november 2017, 19:20:14
door mesa57
Retrieve error

Gestart door wouter.coppensBoard Spotweb

Reacties: 0
Gelezen: 1780
Laatste bericht 20 april 2014, 10:32:57
door wouter.coppens
Bezig spotweb binnenhalen, mysql retrieve.php

Gestart door cooltennisBoard Spotweb

Reacties: 30
Gelezen: 11456
Laatste bericht 01 augustus 2018, 15:31:30
door mesa57