Synology-Forum.nl

Packages => 3rd party Packages => Spotweb => Topic gestart door: cooltennis op 23 juli 2018, 14:30:06

Titel: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: cooltennis op 23 juli 2018, 14:30:06
Ik ben al weekje bezig met spotweb binnenhalen ben nu gestopt bij 1 jaar 4 maanden.

[attachimg=3]
Deze is opgelost door met deze code te gebruiken:
/usr/local/bin/php56 /volume1/web/spotweb/retrieve.php --force
Ging laden en daarna krijg je dit:
[attachimg=4]
Ken iemand dit?
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: mesa57 op 23 juli 2018, 15:31:49
Nog steeds geen plaatjes, maar ik vermoed dat het aantal spots wat je per keer ophaalt teveel is.
Verlaag dat eens van 5000 naar 1000 of zo.
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: cooltennis op 23 juli 2018, 15:53:25
Ik snap ook steeds niet waarom afbeelding niet werkt..


[attachimg=2]




Hoe verlaag ik hem ? (bij spotweb instelling)?
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: mesa57 op 23 juli 2018, 16:28:35
Settings / performance / retrieve increment
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: cooltennis op 23 juli 2018, 17:18:04
[attachimg=1]

root@ajvsweb:~# /usr/local/bin/php56 /volume1/web/spotweb/retrieve.php --force
Last retrieve at Thu 01 Jan 1970 01:00:00 AM CET
Retrieving new Spots from server news.sunnyusenet.com...
Appr. Message count:    2949981
First message number:   224153
Last message number:    3174134
Current article number: 3013360

Retrieving 3013360 till 3014361PHP Fatal error:  Allowed memory size of 134217728 bytes    exhausted (tried to allocate 116907935 bytes) in /volume1/web/spotweb/lib/services/Nnt   p/Services_Nntp_SpotReading.php on line 150

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 116907   935 bytes) in /volume1/web/spotweb/lib/services/Nntp/Services_Nntp_SpotReading.php on l   ine 150
root@ajvsweb:~# Last retrieve at Thu 01 Jan 1970 01:00:00 AM CET
-ash: Last: command not found
root@ajvsweb:~# Retrieving new Spots from server news.sunnyusenet.com...
-ash: Retrieving: command not found
root@ajvsweb:~# Appr. Message count:    2949968
-ash: Appr.: command not found
root@ajvsweb:~# First message number:   224153
-ash: First: command not found
root@ajvsweb:~# Last message number:    3174121
-ash: Last: command not found
root@ajvsweb:~# Current article number: 3011359
-ash: Current: command not found
root@ajvsweb:~#
root@ajvsweb:~# Retrieving 3011359 till 3012360
-ash: Retrieving: command not found
root@ajvsweb:~# getBody(): Failed to retrieve article: <PpWFFiVoqog72DOWA593z@spot.net>   -ash: syntax error near unexpected token `:'
root@ajvsweb:~#  (parsed: 999, in DB: 2, signed: 973, invalid: 2, rtntn.skip: 0, mod: 2   4, full: 973, total: 1001) in 91.42 seconds
-ash: syntax error near unexpected token `in'
root@ajvsweb:~# Retrieving 3012360 till 3013361 (parsed: 1001, in DB: 0, signed: 977, i   nvalid: 0, rtntn.skip: 0, mod: 24, full: 977, total: 1001) in 79.68 seconds
-ash: syntax error near unexpected token `('
root@ajvsweb:~# Retrieving 3013361 till 3014362PHP Fatal error:  Allowed memory size of    134217728 bytes exhausted (tried to allocate 116907935 bytes) in /volume1/web/spotweb/   lib/services/Nntp/Services_Nntp_SpotReading.php on line 150
-ash: syntax error near unexpected token `('
root@ajvsweb:~#
root@ajvsweb:~# Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to    allocate 116907935 bytes) in /volume1/web/spotweb/lib/services/Nntp/Services_Nntp_Spot   Reading.php on line 150
-ash: syntax error near unexpected token `('
root@ajvsweb:~#
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: mesa57 op 23 juli 2018, 17:27:17
Voeg eens toe aan de aangemaakte spotweb.ini :

memory_limit=1024M

En btw: als je 'retrieve full spots' aan hebt staan, zet deze dan uit.
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: cooltennis op 23 juli 2018, 21:29:42
Ik heb denk geen spotweb.ini staan... Heb ook zoekveld gebruikt bij file.
Moet ik die zelf even handmatig aanmaken?
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: mesa57 op 24 juli 2018, 10:20:54
Ja, zie https://www.synology-forum.nl/spotweb/nieuw-(02-04-2017)-spotweb-installatie-tutorial/
maar dan met de memory_limit erbij
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: cooltennis op 24 juli 2018, 15:59:18
Uit de uitleg van spotweb link zie ik geen "memory_limit"  verhaal?
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: mesa57 op 24 juli 2018, 17:21:23
Nee, maar wel waar je de spotweb.ini neer moet zetten.
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: Birdy op 24 juli 2018, 17:54:57
Je moet in /usr/local/etc/php56/conf.d/spotweb.ini de regel
memory_limit=1024Mtoevoegen.
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: cooltennis op 24 juli 2018, 18:33:55
/usr/local/etc/php56/conf.d/spotweb.ini.memory_limit=1024M
Zo? of moet de punt een anders?
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: Birdy op 24 juli 2018, 19:19:44
In die ini file die memory regel toevoegen.
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: cooltennis op 24 juli 2018, 19:38:32
Ik gaf aan ik spotweb.ini niet kan vinden bij map spotweb....

Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: mesa57 op 24 juli 2018, 20:02:54
Ok, dan doen we het anders.

1) Maak de file reallymyownsettings.php aan in de spotweb folder.
2) Vul die met de inhoud :

<?php
ini_set
('memory_limit','256M');
?>

Voer install.php (alleen het eerste schermpje) uit de spotweb map uit {nas ip}/spotweb/install.php  en controleer of de memory limit 256M is
Btw. ik heb getest : 256M zou voldoende moeten zijn.
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: cooltennis op 24 juli 2018, 20:29:18
Ja, deze is gelukt om te doen.

Nu kan ik weer met deze stappen verder gaan?


sudo -i

/usr/local/bin/php56 /volume1/web/spotweb/retrieve.php
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: mesa57 op 24 juli 2018, 20:34:07
Uiteraard. Er hoef niks geherstart worden of zo.
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: cooltennis op 24 juli 2018, 20:36:37
Inmiddels laad hij weer was bij 1 jaar 4 maanden nu zie ik 1 jaar 3 maanden.

Ik hoop hierbij opgelost is.
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: cooltennis op 27 juli 2018, 13:49:52
Paar dagen verder, ben ik even wezen kijken.

Ben nu bij 4 maanden 3 weken.

En heb programma putty even bij gehaald, krijg nu deze melding is dit bekende fout?
Ik heb volgens mij dit eerder nog niet gezien?

[attach=1]
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: proxydude op 27 juli 2018, 14:48:12
Je hebt te weinig geheugen. Minder ophalen tegelijk of geheugen aanpassen. Maar ik zou niet te ver terug gaan. Meeste spots hebben toch last van DMCA.
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: mesa57 op 27 juli 2018, 14:52:27
Hij gaat juist vooruit (van oud naar nieuw). De regel die genoemd wordt bevat een gzinflate van een bepaalde gelezen spot.
Dat doet mij vermoeden dat hij 'retrieve full spots' aan heeft staan, want anders wordt een spot nooit volledig gelezen. Normaal gebeurd dat alleen bij het openen van een spot, en dat dat incidenteel niet lukt is niet zo heel erg.
Tevens duurt het retrieven van spots veel te lang. Dus @cooltennis : zet retrieve full spots a.u.b uit.
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: cooltennis op 31 juli 2018, 00:16:14
Waar moet ik dat vinden voor uitschakelen bij instelling spotweb of?
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: mesa57 op 31 juli 2018, 12:14:24
Hier
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: cooltennis op 31 juli 2018, 12:32:10
Gevonden nu even afwachten of hij weer gaat afmaken en laden van de laatste loodjes.
Ik weet dat het een weekje duurt. Maar heb 5 dagen lang al 4 maanden 3 weken daar bij bleef hangen.

Edit:

Het is klaar, ben bij vandaag. Voorlopig hoop ik bij deze nu goed blijf gaat draaien.
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: mesa57 op 31 juli 2018, 12:40:58
Als je nog ruimte wilt besparen in je database kun je de tabel 'fullspots' leegmaken (niet verwijderen, maar leegmaken).
Retrieve is velen malen sneller zonder fullspots retrieve.
Die optie moet er toch maar eens uitgesloopt worden ...
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: cooltennis op 01 augustus 2018, 10:40:53
Mijn spot gaat niet automatisch binnenkomen, het werkt wel wanneer ik programma putty bijhaal.

Taakplanner heb ik wel ingesteld. Nu ik hier aan typen ben, moe tik misschien daar "--force" erachter zetten?

/usr/local/bin/php56 /volume1/web/spotweb/retrieve.php --force ivp dit alleen: /usr/local/bin/php56 /volume1/web/spotweb/retrieve.php

In ieder geval ga ik dit nu proberen en kijken of gedurende dag nu zelf binnenkomt.
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: Birdy op 01 augustus 2018, 10:44:18
Citaat
moe tik misschien daar "--force" erachter zetten?
Normaal gesproken, nee.
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: mesa57 op 01 augustus 2018, 12:13:26
De --force optie overschrijft het mechanisme waarmee spotweb voorkomt dat er meerdere retrieve jobs tegelijkertijd lopen.
Zeker als je retrieve via taakplanner start is die optie NIET aan te bevelen. Het zou makkelijk kunnen dat er bv. een 2e taak wordt gestart terwijl de eerste nog aan het draaien is. Gebruik die optie dus zeker NIET.
Btw. je moet geloof ik wel de taak als 'root' starten dacht ik.
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: cooltennis op 01 augustus 2018, 14:16:55
Hij komt niet automatisch verder, er is nu 3 uur geleden laatst binnengehaald (door putty elke keer even bij te halen)

Hierbij de screen van mijn taakplanner

[attach=1]
[attach=2]
[attach=3]
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: Birdy op 01 augustus 2018, 14:23:58
Ik denk dat dagelijk elke minuut wat overdreven is ?
Dat zou de ene of meerdere retrieve(s) nog niet klaar kunnen zijn en de volgende start alweer.
Loopt dat niet spaak ?
Titel: Re: Bezig spotweb binnenhalen, mysql retrieve.php
Bericht door: mesa57 op 01 augustus 2018, 15:31:30
Nee, als je --force niet gebruikt, dan start retrieve.php niet op totdat de running retrieve klaar is.
Wellicht kun je eens in de logs kijken (/var/log/httpd of /var/log/nginx) ?
Ook kun je een email versturen als het niet goed gaat zie ik, maar of dat werkt weet ik niet.