ad-block via de DNS server

[Briolet]

Een doorstuurserver bij resolutie moet altijd aanwezig zijn, want anders werkt er niets meer. Er is zelfs een screenshot in mijn handleiding van een voorbeeld instelling.

[anton74]

Dank je. Ik heb de resolutie inderdaad ingesteld zoals in je screenshot.

Ik heb voor de zekerheid nog eens DNS server opnieuw geinstalleerd, de master zone en resolutie opnieuw ingesteld en het script opnieuw gedraaid. De black/white list en final.txt bestanden worden netjes aangemaakt, maar blijkbaar gaat er iets mis met het inlezen, want ik krijg meer dan 20.000 foutregels in het log.

Ik heb een screenprintje gemaakt van een deel van het log en ook een screenprint van de details van mijn master zone. Zie je hier iets bijzonders in?

[Briolet]

Ik zou het zo niet weten. Per nas mag er geen verschil zijn. Als het hier werkt, moet het ergens anders ook werken.

Is alles echt ingesteld naar het voorbeeld? Zijn alle velden goed aangepast bij het maken van de null.zone.file? In elk geval staat het serieformaat standaard op een andere waarde dan nodig is.

De checkboxen maken volgens mij niets uit. Volgens mij mag je daar wel de default laten staan, hoewel ik het getest heb met alles uit.

[anton74]

vanavond nog eens alles verwijderd en opnieuw geinstaleerd. Ik heb nu alleen de Yoyolist aangezet. Na het runnen van het script zie ik nog steeds veel foutmelding, zoals in het screenprint van mijn vorige post. Ook een Nslookup van een domein in de final.txt file geeft nog steeds een 'server failed' melding. Een nslookup van bijv www.telegraaf.nl geeft netjes het ip adres door.

Als ik nu echter een pagina via mijn browser bezoek worden de advertenties wel geblokt! Ook op mijn ipad en iphone worden de advertenties nu geblokt. Vreemd dat ondanks de foutmeldingen in het log en de 'server failed' melding bij nslookup het toch werkt.

Ik heb ook diverse domeinen getest die een error melding hebben in het log, maar ook deze worden netjes geblokt.

Ik kan het DNS adres helaas niet wijzigen in mijn Ziggo Connectbox; deze optie is niet beschikbaar in het menu. Ik heb het nu op elk apparaat gedaan. Daarbij moest ik op mijn laptop ook IPV6 uitzetten anders kwamen de advertentiedomeinen alsnog via de IPV6 DNS server van Ziggo door.

[Briolet]

Als je het script met een gewone tekstverwerker aanpast, kunnen er onzichtbare tekent in terecht komen. Maar normaal geeft dat fouten die het hele script zelf blokkeren.
Dan genereert het mailtje van de task-planner ook meldingen over syntax errors.

Dat over IPv6 is nieuw voor me. Kan ik ook niet testen omdat ik geen IPv6 heb. Dit script geeft alleen IPv4 antwoorden. Als de dns server niet weet dat er ook IPv6 adressen bestaan zou dat geen probleem zijn. Dat er voor IPv6 een geheel andere DNS server gebruikt wordt, is mij nieuw, maar ook weer logisch eigenlijk. Dan zou je ook het IPv6 adres voor een dns server naar het IPv6 adres van de nas moeten sturen, i.p.v. IPv6 uit te zetten.

Waar hij dan van de nas te horen krijgt dat die advertenties geen IPv6 gebruiken en via hun IPv4 geblokt worden.

In het script kun je op het eind de twee regels:

Code: [Selecteer]

echo ' A 127.0.0.1' >> null.zone.file
echo '* IN A 127.0.0.1' >> null.zone.file

aanvullen tot:

Code: [Selecteer]

echo ' A 127.0.0.1' >> null.zone.file
echo ' AAAA ::1' >> null.zone.file
echo '* IN A 127.0.0.1' >> null.zone.file
echo '* IN AAAA ::1' >> null.zone.file

Dan geeft hij ook een localhost terug voor IPv6. (Dit zit in de V2 versie van het nieuwe script van dMajo). Maar dat script heeft nog steeds bugs die er eerst uit moeten voordat ik dat script hier wil plaatsen.

[king006]

Complimenten voor het maken van dit script!

Tijdens het uitvoeren op de command line (deed ik express even), verscheen onderstaand foutje:

./ad-blocker.sh: line 376: -2: substring expression < 0

Ik heb verder de stappen gevolgd uit de handleiding maar krijg het volgende:

nslookup ads.aol.com <NAS IP>
Server:         <NAS IP>
Address:        <NAS IP>#53

** server can't find ads.aol.com: SERVFAIL

Waar haal jij overigens het volgende vandaan?

Briolet$ nslookup ads.aol.com
Server:      10.0.1.30
Address:   10.0.1.30#53

Name:   ads.aol.com
Address: 127.0.0.1

Hier komt toch helemaal niet het IP Adres 127.0.0.1 terug? maar juist die van de NAS moet daar toch komen? je hebt nergens 127.0.0.1 ingevoerd. (ja, is localhost IP)

Verder zie ik in de bestanden /etc/zone/master/null.zone.file staan, alleen deze heb ik helemaal niet? hij staat bij mij in /volume1/@appstore/DNSServer/named/etc/zone/master.


Log:

2018-03-14T20:43:41+01:00 NAS named[3089]: "2018/03/14 20:43:41.033"     ""      "general"       "dns/zone"      -4      zone reycross.cn/IN: has 0 SOA records
2018-03-14T20:43:41+01:00 NAS named[3089]: "2018/03/14 20:43:41.033"     ""      "general"       "dns/zone"      -4      zone reycross.cn/IN: has no NS records
2018-03-14T20:43:41+01:00 NAS named[3089]: "2018/03/14 20:43:41.033"     ""      "general"       "dns/zone"      -4      zone reycross.cn/IN: not loaded due to errors.
2018-03-14T20:43:41+01:00 NAS named[3089]: "2018/03/14 20:43:41.034"     ""      "general"       "dns/master"    -3      /etc/zone/master/null.zone.file:3: ignoring out-of-zone data (null.zone.file)
2018-03-14T20:43:41+01:00 NAS named[3089]: "2018/03/14 20:43:41.034"     ""      "general"       "dns/master"    -3      /etc/zone/master/null.zone.file:10: ignoring out-of-zone data (null.zone.file)
2018-03-14T20:43:41+01:00 NAS named[3089]: "2018/03/14 20:43:41.034"     ""      "general"       "dns/master"    -3      /etc/zone/master/null.zone.file:11: ignoring out-of-zone data (ns.null.zone.file)

Waarom werkt het niet?

[Briolet]

Tijdens het uitvoeren op de command line (deed ik express even), verscheen onderstaand foutje:

./ad-blocker.sh: line 376: -2: substring expression < 0

Deze foutmelding snap ik even niet. Die regel is in if statement die een tijdformaat wegschrijft.

Maar als het script hier afbreekt, is het logisch dat de dns daarna niet werkt zoals verwacht.

[king006]

Tijdens het uitvoeren op de command line (deed ik express even), verscheen onderstaand foutje:

./ad-blocker.sh: line 376: -2: substring expression < 0

Deze foutmelding snap ik even niet. Die regel is in if statement die een tijdformaat wegschrijft.

Maar als het script hier afbreekt, is het logisch dat de dns daarna niet werkt zoals verwacht.

Ik ben wat dieper gaan zoeken in het script en het bestand null.zone.file. Het probleem zit hem in het formaat zoals gemaakt door de backend van de NAS. Als ik tijdelijk

if [[ "${Now}" -ne "${ZoneSN::-2}" ||  ${#ZoneSN} -lt ${#Now} ]]; then

aanpas naar:

if [[ "${Now}" -ne "${ZoneSN:-2}" ||  ${#ZoneSN} -lt ${#Now} ]]; then

maakt hij het bestand netjes aan zoals in het sh script staat beschreven. Daarna heb ik:

if [[ "${Now}" -ne "${ZoneSN:-2}" ||  ${#ZoneSN} -lt ${#Now} ]]; then

weer aangepast in:

if [[ "${Now}" -ne "${ZoneSN::-2}" ||  ${#ZoneSN} -lt ${#Now} ]]; then

dan blijft het goed werken en loopt het serial netjes op

Ik heb wat aanpassingen gemaakt in het ad-blocker.sh zodat je nu zelf een custom IP kunt toevoegen. Ik heb bijvoorbeeld een Raspberry PI draaien met NGINX erop en een witte afbeelding. Alle geblokkeerde websites mogen wat mij betreft dan ook naar de PI verwijzen i.p.v. 127.0.0.1. Een custom variabele is dan handiger i.p.v. dat je hem in het template helemaal dient te wijzigen. Ik wil hem best met je delen? wil je dan een privé berichtje sturen dan mail ik hem even. (mag hem hier niet uploaden)

Met betrekking tot bovenstaand probleem, wellicht kun je het null.zone.file ter download (in dropbox?) beschikbaar stellen? en dan in het ad-blocker.sh zorgen dat hij hem automatisch download en op de juiste plek zet? daarna blijft het script namelijk voor iedereen goed werken 

Ik wil mijn null.zone.file best even met je delen zodat je zeker weet dat je er 1 hebt die echt goed werkt.

[Briolet]

Ik zal er vanavond eens goed naar kijken.

dMajo heeft echter een grote update van zijn script gemaakt. Veel beter geprogrammeerd met logging. Ik gebruik het nu al ruim een maand. Mijn bedoeling was het om deze binnenkort hier te publiceren als vervanger van het bestaande script.

Functioneel zijn ze gelijk, maar het is daarmee gemakkelijker eigen blocklists toe te voegen.

Het stuk waar het bij jou fout gaat is echter identiek. Het kan zijn dat dMajo dat niet goed getest heeft. Het is toegevoegd als een quick fix nadat Synology een verandering gedaan heeft aan de DNS server.

Het meeste is door dMajo geschreven zodat ik zelf ook in de werking moet duiken en uitzoeken waarom hij het zo gedaan heeft.

[king006]

Het meeste is door dMajo geschreven zodat ik zelf ook in de werking moet duiken en uitzoeken waarom hij het zo gedaan heeft.

Graag! laat maar weten als ik iets kan testen. Wat is het script van dMajo? dan zal ik die eens proberen.

[Briolet]

Het script heb ik hier als een 10 kB zip file toegevoegd. Ik had er ook al een read-me bij geschreven. Zit ook in de zip. Dit ding draait inmiddels 6 week op mijn nas.

Alle tips zijn welkom voor definitieve publicatie.

Er zit nu een config file bij, waar de gebruiker dingen aanpast i.p.v. direct het script te moeten modificeren.

[Briolet]

Als ik de scripts vergelijk, dan zie ik dat de berekening van de string "ZoneSN" in het nieuwe script anders gebeurd. dMajo heeft dat ergens eind januari aangepast. Waarschijnlijk om de bug, waar jij tegen aan liep te verhelpen.

In het script zat nog wel een bug in regel 240. Die heb ik ge-comment en door de oude regel van dMajo vervangen. Dat is echter een triviale bug waarbij hij de blacklist als comment wegschrijft in de export file. Ik had geen zin om uit te puzzelen waarom die 'verbetering' van dMajo niet werkt.

NB. Het script van dMajo is geschreven met de intentie om het script binnen een, nog uit te geven, package te runnen. Sommige zaken zijn daarop geoptimaliseerd.

[king006]

Als ik de scripts vergelijk, dan zie ik dat de berekening van de string "ZoneSN" in het nieuwe script anders gebeurd. dMajo heeft dat ergens eind januari aangepast. Waarschijnlijk om de bug, waar jij tegen aan liep te verhelpen.

In het script zat nog wel een bug in regel 240. Die heb ik ge-comment en door de oude regel van dMajo vervangen. Dat is echter een triviale bug waarbij hij de blacklist als comment wegschrijft in de export file. Ik had geen zin om uit te puzzelen waarom die 'verbetering' van dMajo niet werkt.

NB. Het script van dMajo is geschreven met de intentie om het script binnen een, nog uit te geven, package te runnen. Sommige zaken zijn daarop geoptimaliseerd.

Bedankt voor het uitzoeken! ik heb hem nu geïnstalleerd en werkt prima. Het lijkt mij verstandig als je hem wijzigt op https://www.synology-forum.nl/dns-server/adblocker-via-dns-(handleiding) naar deze versie.

[king006]

Het script heb ik hier als een 10 kB zip file toegevoegd. Ik had er ook al een read-me bij geschreven. Zit ook in de zip. Dit ding draait inmiddels 6 week op mijn nas.

Alle tips zijn welkom voor definitieve publicatie.

Er zit nu een config file bij, waar de gebruiker dingen aanpast i.p.v. direct het script te moeten modificeren.

Het uitvoeren duurt wel erg lang van dit nieuwe script:

Starttijd: Thu, 15 Mar 2018 20:14:23 GMT
Stoptijd: Thu, 15 Mar 2018 20:19:24 GMT

Jouw vorige script ging veel sneller. Heb jij dit ook?

[Briolet]

Nee.
Volgens de taakplanner:

Code: [Selecteer]

Starttijd: Tue, 13 Mar 2018 03:00:02 GMT
Stoptijd: Tue, 13 Mar 2018 03:00:17 GMT

Volgens het log dat het script zelf schrijft naar de folder met het script zelf:

Code: [Selecteer]

--2018-03-13 03:00:02--  ad-blocker.sh: Update started by user:  root ...
…
--2018-03-13 03:00:17--  ad-blocker.sh: Update completed successfully SN 2018031300
Dat zijn 15 seconden en geen 5 minuten.

Het script wist bij normaal gebruik het logbestand als er geen fouten waren. In de versie zoals ik heb geupload heb, staat hij nog in debugmode en laat hij het log intact en staat er een tijdcode bij elke stap. Misschien dat je daar kunt zien welke stap zo lang nodig heeft.