ad-block via de DNS server

[Pippin]

Zit er nog een foutje in versie  V2.03.0118 - 006?

ad-blocker.sh: Starting script with ID 14712
ad-blocker.sh: Building combined blacklist ...
ad-blocker.sh: Downloading StevenBlack's on GIT ...
ad-blocker.sh: Downloading Hosts-file.net ...
ad-blocker.sh: Downloading Spywaredomains at malwaredomains.com ...
ad-blocker.sh: Downloading sysct1 ...
ad-blocker.sh: Cleaning downloaded files ...
ad-blocker.sh: Building combined whitelist ...
ad-blocker.sh: Building final zones database ...
ad-blocker.sh: Added 121656 domains and subdomains to the blocklist
ad-blocker.sh: Updating DNS Server files ...
ad-blocker.sh: Rebuild data null.zone.file
ad-blocker.sh: Rebuild master null.zone.file ...
ad-blocker.sh: line 378: -2: substring expression < 0
ad-blocker.sh: Update completed successfully SN
ad-blocker.sh: Stopping script with ID 14712

Line 378:

Code: [Selecteer]

if [[ "${Now}" -ne "${CurrSN::-2}" || ${#CurrSN} -lt ${#Now} ]]; then

[Briolet]

Oeps. Die was al eerder gemeld en vergeten. Die fout ontstaat alleen als je vanaf scratch begint. Daarna valt hij er niet meer over. Het is een regel uit het oorspronkelijke script van dMajo, die onveranderd gebleven is.

Moet natuurlijk niet gebeuren als die fout al gemeld was.

[Briolet]

Probleem met testen is dat ik die fout niet kan reproduceren. Ook als ik de "null.zone.file" compleet wis en nieuw aanmaak, verschijnt die fout niet bij mij.

Is die null.zone.file wel aangemaakt met een datum als serie formaat?

[Briolet]

Ik heb het even getest. Als ik die null.zone.file aanmaak en verander het serieformaat, niet naar datum zoals in de manual staat, dan krijg ik die fout ook. Achteraf alsnog veranderen werkt ook niet, want ik zie dat die verandering intern dan niet doorgevoerd wordt. De null.zone.file moet opnieuw aangemaakt worden.

Dat neemt niet weg dat er nog een test in het script moet komen die hier voor waarschuwt.

[Briolet]

Je kunt direct voor de regel waar het mis gaat toevoegen:

Code: [Selecteer]

if [[ "${CurrSN}" -eq "1" || ${#CurrSN} -ne 10 ]]; then
    LogThis "Wrong serial format detected for the null.zone.file" 0 "toAll"
    LogThis "Delete the null.zone.file and create a new one with a date as serial format" 1 "toAll"
fi


of (nog niet getest)

Code: [Selecteer]

if [[ "${CurrSN}" -eq "1" || ${#CurrSN} -ne 10 ]]; then
    CurrSN="${Now}00"
fi


Bij dat laatste zal het in principe gaan werken, maar de settings in DNS server blijven op doorlopende nummers staan. Ik heb geen idee of dat later tot problemen leidt. Opnieuw aanmaken is waarschijnlijk beter.

Het eerste voorbeeld geeft dan een output in de trant van:

Code: [Selecteer]

ad-blocker.sh: Added 57278 domains and subdomains to the blocklist
ad-blocker.sh: Updating DNS Server files ...
ad-blocker.sh: Rebuild data null.zone.file
ad-blocker.sh: Wrong serial format detected for the null.zone.file
ad-blocker.sh: Delete the null.zone.file and create a new one with a date as serial format
ad-blocker.sh: Update aborted with errors, see update log for details /volume1/Logs/DNSfiles/ad-blocker.log
ad-blocker.sh: Stopping script with ID 23195


[Pippin]

Die fout ontstaat alleen als je vanaf scratch begint. Daarna valt hij er niet meer over.

Hier niet, had het oude script uitgeschakeld en het nieuwe ingeschakeld.

Is die null.zone.file wel aangemaakt met een datum als serie formaat?

Ja, volgens GUI.

Deze

Code: [Selecteer]

if [[ "${CurrSN}" -eq "1" || ${#CurrSN} -ne 10 ]]; then
    LogThis "Wrong serial format detected for the null.zone.file" 0 "toAll"
    LogThis "Delete the null.zone.file and create a new one with a date as serial format" 1 "toAll"
figeeft

ad-blocker.sh: Starting script with ID 13062
ad-blocker.sh: Building combined blacklist ...
ad-blocker.sh: Downloading StevenBlack's on GIT ...
ad-blocker.sh: Downloading Hosts-file.net ...
ad-blocker.sh: Downloading Spywaredomains at malwaredomains.com ...
ad-blocker.sh: Downloading sysct1 ...
ad-blocker.sh: Cleaning downloaded files ...
ad-blocker.sh: Building combined whitelist ...
ad-blocker.sh: Building final zones database ...
ad-blocker.sh: Added 121854 domains and subdomains to the blocklist
ad-blocker.sh: Updating DNS Server files ...
ad-blocker.sh: Rebuild data null.zone.file
ad-blocker.sh: Rebuild master null.zone.file ...
ad-blocker.sh: Wrong serial format detected for the null.zone.file
ad-blocker.sh: Delete the null.zone.file and create a new one with a date as serial format
ad-blocker.sh: Update aborted with errors, see update log for details /volume1/DNSfiles/ad-blocker.log
ad-blocker.sh: Stopping script with ID 13062

maar dat is niet zo volgens GUI en er is nergens iets te vinden in de logs.

Maar het werkt verder wel.

[king006]

Ik ben 'blij' te lezen dat er nog iemand is met dat probleem we zullen waarschijnlijk een check gaan inbouwen dat het script laat afbreken met een melding dat je het formaat in de GUI dient te wijzigen. Briolet en ik gaan hier nog even op testen en het z.s.m. voor iedereen oplossen we komen hier z.s.m. op terug.

Wil jij het volgende eens bekijken/controleren?

1) Heb je de nieuwste NAS software geïnstalleerd? (ook voor de packages?) welke versies heb je?
2) Wil je via de GUI de null.zone.file eens helemaal verwijderen? en dan opnieuw aanmaken met als formaat datum. Werkt het daarna wel goed? Mogelijk dat er een probleem ontstaat als je van het oude V1 script overstapt naar V2.

[Briolet]

De oudste methode om de datum weg te schrijven was "Now=$(date +"%y%m%d%H%M")" Dat geeft ook een string van 10 unieke karakters.

In december heeft dMajo dit aangepast naar een datum zonder uren en minuten, maar met een tellertje, zodat het 10 karakters bleven. Deze laatste aanpassing zit ook in mijn laatste upload van het V1 script. (Dit vanwege een aanpassing in DNS Server zelf)

Maar als MMD bovenstaande foutmelding krijgt, moet die string de waarde 1 hebben of geen lengte 10 hebben. Ik denk dat het komt doordat het sed commando er door het andere formaat van het oude script, geen 10 cijferige code meer van maakt.

Ik zal alleen op waarde 1 checken, want dat is de waarde die erin komt te staan als je als serie formaat geen datum kiest maar hem op reeks laat staan.

Verder lijkt het me voldoende om de volgorde van checken te wisselen in de regel waar het fout gaat. Dus niet:

Code: [Selecteer]

if [[ "${Now}" -ne "${CurrSN::-2}" ||  ${#CurrSN} -lt ${#Now} ]]; then
maar

Code: [Selecteer]

if [[ ${#CurrSN} -lt ${#Now} || "${Now}" -ne "${CurrSN::-2}"  ]]; then
Als de lengte van ${ZoneSN} dan te kort is, wordt die datum direct gereset. Is de lengte gelijk of groter dan 10, dan zal de tweede check op ${ZoneSN::-2} geen fout meer kunnen opleveren.

@MMD, kun je checken of dit gaat werken? Dus de eerder genoemde check er even uit halen en de volgorde van de 2e check omkeren.

[Pippin]

Ah, ben net schoon begonnen en het werkt nu zonder foutmelding.
Heeft gewoon aan oude vs. nieuwe gelegen.

Nadat alle processen tot rust zijn gekomen is het geheugen gebruik nog steeds lager, 64.9MB/10.000 domeinen.
Diverse willekeurige lookups gedaan uit de lijst en werkt prima.

[Briolet]

Om er zeker van te zijn heb ik het oudste script nog een keer gerund en daarna het nieuwe, met de aanpassingen. Het sed commando kan dan inderdaad niet het oude serienummer uit de file halen en komt met een lege string terug.

Met het omwisselen van bovenstaande checks gaat het dan wel goed bij de overgang naar het nieuwre script, zonder de null.zone.file opnieuw aan hoeven te maken.

[Briolet]

Ik heb net de versie omgewisseld door een nieuwe met bovenstaande checks. Iedereen waarbij het vorige script goed draait kan doorgaan met die versie, of de null.zone.file opnieuw aanmaken.

Het nieuwe script "ad-blocker V2.03.0118 - 007" geeft nu echter geen foutmeldingen meer met een oudere reeds aanwezige null.zone.file.

[Briolet]

Ik had nog een wens voor aanpassing van het script: "Timestamping".

Wat heb je er als gebruiker aan?   ……… Niets.

Het irriteerde me dat veel lijsten niet vaak veranderen en je ze dus onnodig vaak download. In het paasweekend heb ik gezocht of ik de modificatiedatum van files vooraf kon bepalen. Na doorspitten van de 'wget' manual, bleek die optie al binnen wget te bestaan. Zij noemen het 'Timestamping', dus heb ik die term maar overgenomen.

Het script kijkt nu vooraf of er op de externe server een nieuwere file staat. Zo ja, wordt hij gedownload. Zo nee, dan gaat het script verder met de oude file die hij nog had en slaat de download over. Het script is nu zo veranderd dat de oude bron-files bewaard worden.

Een probleem is dat niet alle servers de modificatiedatum doorgeven. Van de gebruikte blocklists is het alleen de GitHub server die geen Timestamping ondersteunt. Files op die site blijven dus elke keer gedownload worden. Dit betreft vooral de Steve's lijst. Omdat Steve's lijst eigenlijk opgebouwd wordt uit een paar grote blocklijsten van elders heb ik die bronlijsten toegevoegd omdat die servers wel Timestamping ondersteunen.

De lijst op "Hosts-file.net" heb ik ook eens beter bekeken. Omdat hij zo groot is, wordt hij niet vaak geupdate. Daarvoor in de plaats brengen ze frequent een update op deze lijst uit. Die update lijst heb ik nu ook toegevoegd. Door de Timestamping zal het script nu alleen de update fie downloaden, totdat het hoofdbestand aangepast wordt.

Ik heb het bestand nu als "ad-blocker V2.03.0118 - 008ßeta1.zip" op het eind van dit bericht geplakt als download.

Standaard zijn alleen de eerste 2 blocklists aktief. In de read-me heb ik gepoogd wat meer info over de blocklists te geven. Met links naar info die de samenstellers zelf geven.

(A newer version than this beta is found here)

[king006]

De beta staat inmiddels 1 week online. Wat zijn de ervaringen? hebben jullie problemen ervaren?

[Briolet]

Ik heb net de versie "V2.03.0118 - 008" in de handleiding gezet. Als je nu de beta gebruikt, kun je daar rustig mee doorgaan. Als je toch de definitieve versie wilt gebruiken, zorg er dan voor dat je zowel het script als de config file vervangt.

NB het script is niet foolproof tegen mensen die extra files toevoegen in de folders waar de sourcefiles naar toe gedownload worden.
Het probleem waar ik tegen aan liep was dat WGET niet altijd de exacte filenaam van het origineel wegschrijft. Het script kan daardoor niet met 100% zekerheid de naam kennen en heb ik ervoor gekozen de grootste file uit de folder te gebruiken als de naam niet aanwezig is.
Als mensen er zelf een grotere file bij in zetten, loopt het niet meer gegarandeerd goed. Overigens zet de nas er altijd een hidden directory bij in als je de download via een mac teksteditor bekijkt. Dit doet DSM om de metadata, zoals leespositie etc,  te kunnen vasthouden zonder de file zelf te moeten veranderen. Het script is zo gemaakt dat het hier geen last van heeft. (Vandaar de keuze voor grootste file en niet de eerste file)

[jevago]

Ik krijg het script niet aan de praat, heb de instructies gevolgd maar het script wil niet lopen.
Als ik het via de terminal wil starten krijg ik;

Code: [Selecteer]

sh ad-blocker.sh
ad-blocker.sh: line 80: syntax error: bad substitution