Spotweb SPK

[TonVH]

Geen idee waar de oorzaak precies zit maar ergens werkt of de retriever.php niet goed of de taakplanner. De tijd (in taakplanner wordt netjes opgehoogd maar de retrieve is net uitgevoerd.

Ook gebeurt er niets als ik binnen Spotweb (in de browser) 'retrieve' aanklik. Even een draaiend dingetje en verder geen update.

Als ik in de Terminal "/usr/bin/php /volume1/web/spotweb/retrieve.php" ingeef dan volgt er een foutmelding

retriever.php is already running, pass '--force' to ignore this warning.

Geef ik die parameter "--force" er extra bij dan wordt e.e.a. wel weer uitgevoerd. (Na "calculating how many new spots ....." komt dan wel weer diezelfde foutmelding)

[Martijndez]

Is spotweb de database niet aan het opbouwen? Hoogstwaarschijnlijk heb je morgen hier geen problemen meer mee.

[TonVH]

Is spotweb de database niet aan het opbouwen? Hoogstwaarschijnlijk heb je morgen hier geen problemen meer mee.

Dat was volgens mij al klaar.

Probleem is opgelost. Ik moest de DS herstarten en daarna werkte alles naar behoren. Ik vermoed dus dat die 'retrieve.php' is blijven 'hangen'.

Wat mij wel verbaast is dat ik veel verschillen zie met FTDworld.net. Veel spots daar zie ik niet in Spotweb.

Iemand enig idee waar dat verschil in zit?

[Martijndez]

Spots worden handmatig aangemeld.
Het zijn beide geen automatische indexers zoals newznap.

[Renzo4000]

Geweldige package dit (reeds ook al gemeld op GoT)  ... Echter valt mij nu wat op. Ik heb de boel nu netjes draaien incl een cronjob zodat ie netjes de boel update. Echter nu blijft ie telkens dezelfde headers ophalen  Dit heb ik nog niet eerder gehad met mijn vorige install. Enig idee??

Last retrieve at Tue May 21 11:21:44 2013
Retrieving new Spots from server news.sunnyusenet.com...
Looking for articlenumber for messageid
Searching from 2313663 to 2318664
Appr. Message count: 647993
First message number: 1670671
Last message number: 2318664
Current message: 2303661

Retrieving 2303661 till 2304662 (parsed 475 headers, 92 full, verified 92, moderated 381, skipped 0 of 1001 total messages) in 86.9 seconds
Retrieving 2304662 till 2305663 (parsed 334 headers, 97 full, verified 97, moderated 236, skipped 0 of 1001 total messages) in 104.89 seconds
Retrieving 2305663 till 2306664 (parsed 352 headers, 165 full, verified 165, moderated 187, skipped 0 of 1000 total messages) in 140.96 seconds
Retrieving 2306664 till 2307665 (parsed 290 headers, 140 full, verified 139, moderated 147, skipped 0 of 1001 total messages) in 119.48 seconds
Retrieving 2307665 till 2308666 (parsed 392 headers, 191 full, verified 191, moderated 199, skipped 0 of 1001 total messages) in 168.67 seconds
Retrieving 2308666 till 2309667 (parsed 232 headers, 107 full, verified 105, moderated 122, skipped 0 of 1001 total messages) in 154.99 seconds
Retrieving 2309667 till 2310668 (parsed 445 headers, 174 full, verified 173, moderated 269, skipped 0 of 1001 total messages) in 165.92 seconds
Retrieving 2310668 till 2311669 (parsed 416 headers, 189 full, verified 189, moderated 224, skipped 0 of 1001 total messages) in 167.51 seconds
Retrieving 2311669 till 2312670 (parsed 396 headers, 185 full, verified 185, moderated 207, skipped 0 of 1001 total messages) in 146.3 seconds
Retrieving 2312670 till 2313671 (parsed 300 headers, 141 full, verified 141, moderated 156, skipped 0 of 1001 total messages) in 120.35 seconds
Retrieving 2313671 till 2314672PHP Warning: gzinflate(): data error in /volume1/web/spotweb/lib/SpotNntp.php on line 310

Warning: gzinflate(): data error in /volume1/web/spotweb/lib/SpotNntp.php on line 310
(parsed 458 headers, 222 full, verified 222, moderated 232, skipped 0 of 1001 total messages) in 183.02 seconds
Retrieving 2314672 till 2315673 (parsed 412 headers, 191 full, verified 191, moderated 220, skipped 0 of 1001 total messages) in 148.84 seconds
Retrieving 2315673 till 2316674 (parsed 349 headers, 165 full, verified 165, moderated 183, skipped 0 of 1001 total messages) in 144.39 seconds
Retrieving 2316674 till 2317675 (parsed 404 headers, 186 full, verified 186, moderated 218, skipped 0 of 1001 total messages) in 142.14 seconds
Retrieving 2317675 till 2318676 (parsed 369 headers, 186 full, verified 186, moderated 181, skipped 0 of 1001 total messages) in 110.23 seconds
Processed a total of 15014 spots
Finished retrieving spots.

Calculating how many spots are new, done.

En even later:

May 21 12:30:01 crond: USER root pid 4329 cmd cd /volume1/web/spotweb && /usr/bin/php retrieve.php
Last retrieve at Tue May 21 12:05:36 2013
Retrieving new Spots from server news.sunnyusenet.com...
Looking for articlenumber for messageid
Searching from 2313694 to 2318695
Appr. Message count: 648024
First message number: 1670671
Last message number: 2318695
Current message: 2303675

Retrieving 2303675 till 2304676 (parsed 478 headers, 100 full, verified 100, moderated 376, skipped 0 of 1001 total messages) in 90.19 seconds
Retrieving 2304676 till 2305677 (parsed 339 headers, 110 full, verified 110, moderated 228, skipped 0 of 1001 total messages) in 114.66 seconds
Retrieving 2305677 till 2306678 (parsed 347 headers, 157 full, verified 157, moderated 188, skipped 0 of 1000 total messages) in 133.4 seconds
Retrieving 2306678 till 2307679 (parsed 287 headers, 140 full, verified 139, moderated 146, skipped 0 of 1001 total messages) in 116.54 seconds
Retrieving 2307679 till 2308680 (parsed 392 headers, 191 full, verified 191, moderated 199, skipped 0 of 1001 total messages) in 146.86 seconds
Retrieving 2308680 till 2309681 (parsed 232 headers, 107 full, verified 105, moderated 122, skipped 0 of 1001 total messages)

[Martijn85]

Zou het niet kunnen verklaren waarom die de zelfde headers ophaalt. Misschien eens een reboot van de NAS. Kijk wat die daarna doet?

[Renzo4000]

Het lijkt in de praktijk wel goed te gaan overigens, elkaar uur komen er tussen de 30-100 posts bij ...

[m.wagenmakers]

Hé Martijn, bedankt voor deze geweldige package en handleiding. Heb alles zonder problemen kunnen installeren.

[Langhart]

Hi, ik heb je SPK gebruikt om spotweb te installeren op mijn DS213 en handmatig het rewrite script in de .htaccess toegevoegd. Ik krijg echter steeds een timeout vanuit CouchPotato wanneer ik een search op mijn eigen sportweb wil doen. Wanneer ik de url handmatig in mijn browser type krijg ik na heel lang wachten, +1minuut, wel een xml terug. Enig idee hoe ik dit kan oplossen (versnellen spotnet response / CP timeout verlengen)? Thanks!

[fatalharry]

Zeer goede SPK!

Ben al een week bezig met het bijwerken van de database, maar loop nu tegen een probleem aan.
Er worden geen nieuwe spots meer binnengehaald / verwerkt. de nieuwste is 1 jaar en 4 maanden oud.
Via cli even handmatige de retrieve.php gestart en de output is als volgt:

Retrieving 2806553 till 2807554

SpotWeb v0.58.25.29 on PHP v5.3.21 crashed

Fatal error occured while connecting to the newsserver:
  (0) Unexpected response [response: "Posting-Date: Thu, 19 Jan 2012 18:06:04 +0                                                                                                                                                             100"]

Iemand een idee hoe dit op te lossen?

[Martijn85]

Hi, ik heb je SPK gebruikt om spotweb te installeren op mijn DS213 en handmatig het rewrite script in de .htaccess toegevoegd. Ik krijg echter steeds een timeout vanuit CouchPotato wanneer ik een search op mijn eigen sportweb wil doen. Wanneer ik de url handmatig in mijn browser type krijg ik na heel lang wachten, +1minuut, wel een xml terug. Enig idee hoe ik dit kan oplossen (versnellen spotnet response / CP timeout verlengen)? Thanks!

Hier kan ik zelf niks aan veranderen. Moet je even een request bij spotweb zelf aanmaken op de github.

Ik zie trouwens dat dit al een keer is aangemeld: https://github.com/spotweb/spotweb/issues/1649

Als je dit aanpast werkt het dan goed?

Het moet dus worden:

Code: [Selecteer]

RewriteEngine on
RewriteCond %{REQUEST_URI} !api/
RewriteBase /spotweb/
RewriteRule api/?$ index.php?page=newznabapi [QSA,L]
Als dat zo is hoor ik het graag van je!

[Langhart]

Als je dit aanpast werkt het dan goed?

Het moet dus worden:

Code: [Selecteer]

RewriteEngine on
RewriteCond %{REQUEST_URI} !api/
RewriteBase /spotweb/
RewriteRule api/?$ index.php?page=newznabapi [QSA,L]
Als dat zo is hoor ik het graag van je!

Nope, helaas 0 effect. Response blijft +1 minuut, wanneer ik echter de test met http://server/spotweb/api?t=c doe heb ik binnen een seconde resultaat... Iemand wellicht nog andere suggesties? Thanks!

-----------------------------------------------------------------------

UPDATE: Ik zag bij nogmaals kijken in de install.php dat ik een NOT OK heb op mijn open base dir. Kan dit de trage api-performance verklaren denk je? Spotweb zelf werkt goed en snel als ik er direct in zoek. Bij spotweb op Github werd naar mijn internetsnelheid of DNS config verwezen, maar testen hierop geven gewoon snel resultaat. Thanks!

[finalcut62]

Mooi gedaan Martijn, complimenten!

Vraagje nog wel: ik krijg met geen mogelijkheid de scripts werkend in de Taakplanner. Handmatig werken ze prima en werkt het hele systeem storingsvrij, maar opgenomen in de Taakplanner gebeurt er niets. Ook  bij "nu uitvoeren" gebeurt er nada, noppes en ik heb eigenlijk geen idee waar het aan zou kunnen liggen. Kan er gewoon iets mis zijn met de Taakplanner zelf?

[Martijn85]

Misschien draait het proces nog op de achtergrond en is blijven hangen. Probeer eens een herstart te doen en daarna nog eens het script uit te voeren via de Taakplanner.

[Langhart]

Als je dit aanpast werkt het dan goed?

Het moet dus worden:

Code: [Selecteer]

RewriteEngine on
RewriteCond %{REQUEST_URI} !api/
RewriteBase /spotweb/
RewriteRule api/?$ index.php?page=newznabapi [QSA,L]
Als dat zo is hoor ik het graag van je!

Hi Martijn, ik heb weer een ander script gevonden wat (naast het instellen van een openDNS op mijn Synology + het handmatig wissen van de open_hostdir in user-settings.php) lijkt te werken. CP haalt nu de films gewoon op. Dit leek bij mij te werken:

Code: [Selecteer]

RewriteEngine on
RewriteCond %{REQUEST_URI} !api/
RewriteRule ^api/?$ index.php?page=newznabapi [QSA,L]
Geen flauw idee wat het "^" in de code uitmaakt, maar does the job werkte voor eventjes! Thanks voor je hulp!

----------------------------
Update: Te snel gejuicht... Heeft 2 films gewerkt en vervolgens krijg ik weer timeouts... Any suggestions?