Spotweb SPK

[MatthijsDJ]

Ik heb de Spotweb IPK geïnstalleerd, en ik lees dat de eerste keer draaien van retreive.php lang kan duren, maar het heeft gisteren tussen 08:00 en 02:20 gedraaid. Om 02:20 crashte het doordat de connectie met Eweka was verbroken. Dus heb ik het script vanochtend weer opnieuw gestart, en het lijkt nu verder te gaan met waar het vannacht gebleven was. Echter draait het nu al weer een tijdje, opzich geen probleem maar is het niet wat te lang?


 

[Burner1977]

Ik heb de Spotweb IPK geïnstalleerd, en ik lees dat de eerste keer draaien van retreive.php lang kan duren, maar het heeft gisteren tussen 08:00 en 02:20 gedraaid. Om 02:20 crashte het doordat de connectie met Eweka was verbroken. Dus heb ik het script vanochtend weer opnieuw gestart, en het lijkt nu verder te gaan met waar het vannacht gebleven was. Echter draait het nu al weer een tijdje, opzich geen probleem maar is het niet wat te lang?

Hallo MathijsDJ,

het ligt eraan wat je ingesteld hebt. Als je full spots met afbeeldingen/nzb's en comments gaat ophalen dan ben je zeer zeker een aantal dagen mee bezig.
Als je alleen aan het ophalen bent en niks full dan klopt er iets niet. Gekeken naar de retentie van Eweka (1894 dagen) en je hebt ervoor gekozen om de FTD bestanden mee te nemen dan zou hij in princiepe binnen 2 a 3 uurtjes alles binnen moeten hebben en de database gevuld moeten zijn.

Groetjes

Burner1977

[MatthijsDJ]

Ik heb de Spotweb IPK geïnstalleerd, en ik lees dat de eerste keer draaien van retreive.php lang kan duren, maar het heeft gisteren tussen 08:00 en 02:20 gedraaid. Om 02:20 crashte het doordat de connectie met Eweka was verbroken. Dus heb ik het script vanochtend weer opnieuw gestart, en het lijkt nu verder te gaan met waar het vannacht gebleven was. Echter draait het nu al weer een tijdje, opzich geen probleem maar is het niet wat te lang?

Hallo MathijsDJ,

het ligt eraan wat je ingesteld hebt. Als je full spots met afbeeldingen/nzb's en comments gaat ophalen dan ben je zeer zeker een aantal dagen mee bezig.
Als je alleen aan het ophalen bent en niks full dan klopt er iets niet. Gekeken naar de retentie van Eweka (1894 dagen) en je hebt ervoor gekozen om de FTD bestanden mee te nemen dan zou hij in princiepe binnen 2 a 3 uurtjes alles binnen moeten hebben en de database gevuld moeten zijn.

Groetjes

Burner1977

Hoi Burner,

Gezien het feit dat ik zie dat ie ook comments aan het binnen halen is, vermoed ik dat alles op full staat. Ik denk dat ik maar even opnieuw start

Edit:

Even in de config gekeken, alleen de comments stonden aan. Kunnen alleen de comments al genoeg reden zijn dat het script stukken langer draaid

[Burner1977]

Hallo MatthijsDJ,

comments ophalen staat altijd aan. Heb je de comments volledig ophalen ook aangezet. Wat je ook kan doen is de optie buggy aanzetten voor de zekerheid als je veel fouten ziet bij het ophalen van de spots.
Als je de optie spots volledig ophalen niet aangevinkt hebt dan ben je ook geen full retrieve aan het doen.
Als je nu spotweb opent wat is dan de datum van de eerste spot die je ziet. Dan heb ik enige indicatie hoe ver je al bent.

Groetjes

Burner1977

[MatthijsDJ]

Hoi Burner1977,

Oudste post is nu van vandaag. Dus binnen halen zou klaar moeten zijn, echter ik draai retreive.php op de volgende manier:

nohup ./retreive.php >> mdj.log &

En aangezien mdj.log nog steeds gevuld wordt, nam ik aan dat het script nog draait. Echter zie ik nu dat je, je putty sessie gewoon kan sluiten, en dus het php script in de achtergrond draaien niet nodig is. Misschien gaat hierdoor iets niet helemaal goed?

[Burner1977]

en als je de retieve uitvoert als retieve.php --force wat doet hij dan. Dit gaat over de reeds draaiende retrieve heen en dan zou hij in principe zo klaar moeten zijn.
Hoeveel spots heb je al in je database zitten?

Burner1977

[MatthijsDJ]

Opnieuw gestart, hij doet hetzelfde als met de restart van vanochtend, en het lijkt weer lang te gaan duren.
--
Calculating how many spots are new, done.
Last retrieve at Sat 26 Oct 2013 07:07:44 AM PDT
Retrieving new comments from server sslreader.eweka.nl...
Looking for articlenumber for messageid
Searching from 7080643 to 7085644
Searching from 7075643 to 7080644
Searching from 7070643 to 7075644

Er zitten nu 818,477 records in de spots tabel. Kan het er mee te maken hebben dat ik "maar" een 212J heb, en dat ik nu toch echt teveel van het beestje vraag? CPU/mem is overigens lang niet constant 99% belast, dus het lijkt me sterk.

[Burner1977]

heb je hem gestart met de --force parameter? dan nog even een andere vraag. Hoeveel comments heb je momenteel in je database. Dis is namelijk het laatste wat hij gaat ophalen.
Dit zijn er in de database meer dan 7 miljoen dus dat kan wel even duren.

Groetjes

Rob

[MatthijsDJ]

Had er 2milj nu, echter besloten om even opnieuw te beginnen. Het "lange" draaien kan ook nog eens veroorzaakt zijn doordat de NAS flink aan het downloaden is geweest vannacht en vandaag.

Volgende week is een tweede poging wagen . En ook accepteren dat het wel eens een paar dagen kan duren

[Birdy]

Als je nu eerst eens even --debug toevoegt als test, een uurtje laat lopen misschien valt er iets te zien dat de boel misschien vetraagt?

[Martijn85]

Spotweb heeft ook weer wat nieuwe updates gehad, er was al z`n 6 maanden geen aanpassing meer gedaan maar nu zijn ze druk bezig met de refactor branch om te zetten naar de master branch.

Ik zal deze nieuwe updates gaan testen op de Synology nas zodat binnenkort ook de SPK online kan komen met deze nieuwe updates.

Hier iets meer info: https://github.com/spotweb/spotweb/issues/1932

[Don Ivo]

Werkt perfect!!
Hulde!!

[olidel124]

Ik zou graag ook spotweb willen installeren op mijn nas, maar voor mij is dit hier allemaal een beetje chinees...:-)

Bij het installeren loop ik al tegen de lamp. Wat moet je juist gaan invullen bij die "Database settings"? (type, server, database, user, password).

Alvast bedankt (ben echt een leek)

[Martijn85]

Spotweb is geupdate naar de laatste commit: a735af0872af30c46ba36cc352c02b68075f4cb3

Na het updaten van Spotweb zul je vanaf de terminal (SSH) de volgend opdracht moeten uitvoeren:

Code: [Selecteer]

/usr/bin/php /volume1/web/spotweb/upgrade-db.php
Als deze klaar is (dit geeft die aan) kun je Spotweb weer gebruiken. De opgehaalde headers zullen blijven bestaan in de database.

edit: Nu ook versie 20131108-2. Deze bevat nog de ownsettings.php zodat je de mobile template kunt kiezen.

[Don Ivo]

Het lijkt er sterk op dat er bij mij geen nieuwe headers opgehaald worden.
Heb spotweb geupdate daarna /usr/bin/php /volume1/web/spotweb/upgrade-db.php uitgevoerd en ook nog maars nas herstart.
Wat zie ik over het hoofd?