Krijg Spotweb niet werkende.

[mesa57]

De foutmelding "te weinig geheugen" is in de laatste versie van spotweb gecorrigeerd.
Overigens zijn de veranderingen in DSM de grootste oorzaak van het wijzigigen van de installatie.

[cyberneticorganism]

Mooi Ik denk echter dat bij mij deze foutmeldingen te maken hadden met het feit dat al die extra modules ook niet konden worden gebruikt, wellicht had het dan wel gewerkt met de standaard 128M. Maar dat is nu lastig te testen aangezien de initiële retrieve gedaan is.

[Hennie]

Ik ben nu al een hele tijd bezig om de initiele retrieve te doen maar blijft elke keer hangen op het retrieven..

Code: [Selecteer]

root@VDSM1:~# /usr/local/bin/php56 /volume1/web/spotweb/retrieve.php
Last retrieve at Thu 01 Jan 1970 01:00:00 AM CET
Retrieving new Spots from server news.eweka.nl...
Appr. Message count:    3118885
First message number:   2
Last message number:    3118887
Current article number: 75015

Retrieving 75015 till 80016Ik heb mijn virtuele DSM al meerdere keren geïnstalleerd en wil deze eigenlijk alleen gebruiken voor Spotweb (aangezien ik in het verleden ook al gedoe had met spotweb)
De door mij uitgevoerde stappen:

• Verse installatie
• Update naar DSM 6.1.4-15217 Update 5
• Enable SSH
• Installeer PHPMyAdmin (en dus ook MariaDB 10, MariaDB 5 en PHP5.6)
• Ik volg de gids van Birdy voor het installeren. Extra PHP opties die ik heb aangezet: Curl, gd, gettext, openssl, pdo_dblib, pdo_mysql, pdo_pgsql, pdo_sqlite en zip.
• De rechten staan goed van de map (gecontroleerd na reboot)
• Eweka instellingen aanpassen en SSL uitzetten. Aangepast naar news.eweka.nl.
  
• cp /volume1/@appstore/PHP5.6/usr/local/lib/php56/modules/*  /usr/local/lib/php56/modules
• cp /usr/syno/etc/packages/WebStation/php56/conf.d/user_settings.ini  /usr/local/etc/php56/conf.d/webstation-extensions.ini

De grap is eigenlijk ook dat als ik de synology herstart en ik wil een retrieve uitvoeren dat ik dan zie dat deze al bezig zou zijn. Dus dan doe ik maar een --force. Maar dat lijkt mij toch ook niet handig.
Iemand een idee om er voor te zorgen dat het sneller gaat?
Want ik zie dat tijdens het posten van deze reactie er toch wel een klein beetje voortgang in zit:

Code: [Selecteer]

(parsed: 5001, in DB: 0, signed: 0, invalid: 1, rtntn.skip: 0, mod: 0, full: 5000, total: 5001) in 269.2 seconds
Retrieving 100020 till 105021

[mesa57]

Verlaag het aantal headers dat per keer wordt opgehaald eens van 5000 -> 500 (settings)

[Hennie]

Dat gaat voor de eerste 6 'batches' van 500 inderdaad supersnel. En daarna is het weer supertraag. Helaas...

[mesa57]

"mijn virtuele DSM "
Wat is dat voor een ?
Hoeveel geheugen en cpu krijgt die ?

[Hennie]

Goede vraag... Ik had gehoopt mijn post zo compleet mogelijk te maken
De hardware synology is een DS918+ met 4gb ram,2 samsung nvme ssd's en 3x seagate 4tb hdd's. (2 verschillende series)

De virtuele DSM is geinstalleerd via Docker zonder cpu en geheugen restrictie en dus niet via de virtual machine manager (had ik achteraf misschien wel beter kunnen doen want snapshots bij wijzigingen zijn awesome en niet mogelijk vanuit Docker...)
Ik zit op 40% gebruik.

[mesa57]

Ik vermoed toch dat Mariadb daar veel moeite mee heeft.
Probeer eens een spotweb installatie direct op je ds918.
Je kunt spotweb eenvoudig weer verwijderen als hij niet bevalt.

[proxydude]

Database vreet bijna geen cpu maar geheugen. Deze instelling moet je aanpassen in mariadb zelf. Anders gaat alles op een gegeven moment naar je HD en dat gaat een stuk trager. Ik ben alleen niet bekend waar deze instelling in synology zit. Normaal doe je dat in een configuratie file van je db.

[mesa57]

Hmmz, maar eens docker geïnstalleerd en ddsm gestart.
webstation + apache 2.4 + mariadb 5 + spotweb erop gezet.
Staat nu te retrieven met 5000 spots per keer, zonder problemen :

Code: [Selecteer]

Retrieving 1200242 till 1205243 (parsed: 5001, in DB: 0, signed: 4732, invalid: 23, rtntn.skip: 0, mod: 246, full: 0, total: 5001) in 5.49 seconds
Retrieving 1205243 till 1210244 (parsed: 5001, in DB: 0, signed: 4788, invalid: 19, rtntn.skip: 0, mod: 194, full: 0, total: 5001) in 4.7 seconds
Retrieving 1210244 till 1215245 (parsed: 5001, in DB: 0, signed: 4860, invalid: 14, rtntn.skip: 0, mod: 127, full: 0, total: 5001) in 4.65 seconds
Retrieving 1215245 till 1220246 (parsed: 5001, in DB: 0, signed: 4794, invalid: 16, rtntn.skip: 0, mod: 191, full: 0, total: 5001) in 5.42 seconds

Dus wat er bij jou aan de hand is snap ik niet.

[cyberneticorganism]

Ik had dus hetzelfde, maar toen bleken die PHP extensies niet te werken (niet in de juiste php.ini te zijn geactiveerd). Aan de output te zien is dat bij jou wel in orde. De laatste versie van Spotweb van noarch ook geïnstalleerd? Ik heb verder de meeste opties uitstaan m.b.t. het ophalen van de spots (gaat sneller), hoe is dat bij jou? (spot volledig ophalen uit, comments ophalen uit etc.) Hij was bij mij nog geen 10 minuten bezig met de initiële retrieve van 1100 dagen retentie (heb ik ook wel het snelste abbo bij Tweaknews, en een 500 Mbit glasvezel verbinding liggen hier).

[mesa57]

Ik heb de laatste versie van spotweb geinstalleerd en alle default opties aanstaan behalve het aantal spots / keer,
Dat heb ik verlaagt naar 1000 omdat mijn provider disconnect na 30 sec.
Let wel : dit is op docker / ddsm !

[Hennie]

Ik heb het aantal spots ophalen verlaagd naar 500 en toen ging het niet snel maar na een paar dagen wachten is uiteindelijk alles binnen. (ik kom er net achter dat mijn pc ook al die tijd aan stond..)
Ik had de laatste versie van de package source geïnstalleerd. Maar wel met bijna alle opties van het retrieven aan.
Nu ga ik eens opzoeken waarom ik geen enkele comment heb.

edit: comments uitgezet, update --force uitgevoerd. Daarna comments weer aangezet en nu lijkt het te werken!

[mesa57]

[Innie90]

Alsjeblieft wie kan mijn helpen, ik krijg spotweb niet goed geïnstalleerd.. Hij haalt bij mij maar niet de spots op,  Ik heb dit topic helemaal doorgelezen maar zie niet waar het bij mij mis gaat. Als ik via putty kijk krijg ik de al eerder genoemde melding: Msql_Attr_found_raws, maar zie nu dus niet hoe ik dit kan fixed wie kan mij helpen.