ad-block via de DNS server

[subsense]

Mijn eerste bevinding (als ik dit beter in het Engelse forum moet plaatsen, meld het even).
Ik zie op gpupdate.net geen reacties meer onder artikelen, dit zijn facebook reacties.
Dus ik heb gpupdate.net en Facebook.com op de Whitelist gezet, maar helaas. Nog steeds geen reacties (na een flushdns). Ik heb ook de rechten op de juiste manier gezet op de file. Inhoud is als volgt:

zone "gpupdate.net" { type master; notify no; file "/etc/zone/master/null.zone.file"; };
zone "facebook.com" { type master; notify no; file "/etc/zone/master/null.zone.file"; };

Wie kan me in de juiste richting sturen?

Nevermind, Ik heb de vraag aan de originele poster gevraagd, daar hoort het. Excuses voor de vervuiling.

[Briolet]

Geeft niet. Sommige van de listings gaan verder dan alleen adblocking en blokkeren blijkbaar ook facebook etc. Je kunt ze echter ook uit zetten in het script.

Het script maakt ook temp files aan die het achteraf niet wist. In die temp files kun je ook zelf snel terug vinden welke listing welke sites blokkeert. Als ik b.v. in de "Large Random List" kijk, dan vind ik daar:

Code: [Selecteer]

zone "messenger.com" { type master; notify no; file "/etc/zone/master/null.zone.file";  };
zone "facebook.net" { type master; notify no; file "/etc/zone/master/null.zone.file";  };
zone "facebook.de" { type master; notify no; file "/etc/zone/master/null.zone.file";  };
zone "fbcdn.com" { type master; notify no; file "/etc/zone/master/null.zone.file";  };
zone "static.ak.fbcdn.net" { type master; notify no; file "/etc/zone/master/null.zone.file";  };
zone "static.ak.connect.facebook.com" { type master; notify no; file "/etc/zone/master/null.zone.file";  };
zone "connect.facebook.net" { type master; notify no; file "/etc/zone/master/null.zone.file";  };
zone "apps.facebook.com" { type master; notify no; file "/etc/zone/master/null.zone.file";  };
zone "code.facebook.com" { type master; notify no; file "/etc/zone/master/null.zone.file";  };
zone "api.facebook.com" { type master; notify no; file "/etc/zone/master/null.zone.file";  };
zone "de.facebook.com" { type master; notify no; file "/etc/zone/master/null.zone.file";  };
zone "de-de.facebook.com" { type master; notify no; file "/etc/zone/master/null.zone.file";  };
*** En nog wel een paar honderd met Facebook in de url. ***

Ik beschouw Facebook ook als evil, dus mag dit rustig geblocked worden. Je kunt al die regels kopieren dan weer in je whitelist zetten. Ik zou dan die hele list weglaten.

[subsense]

Thanks, maar als ik het hele domein Facebook.com op de whitelist plaats dan zou het toch ook moeten werken?

[Briolet]

Nee, zo werkt de whitelist niet. Als je het script volgt dan vind je:

   # Add the custom  Whitelist to the blocklist
   cat ${CustomLists}/temp/whitelist.clean4.txt >> ad-blocker.db
   cat ${CustomLists}/temp/whitelist.clean4.txt >> ad-blocker.db
      
   # Sort the blacklist + whitelist | Then remove the double ones (whitelist)
   sort ad-blocker.db | uniq -u > ad-blocker.temp.db
   mv ad-blocker.temp.db ad-blocker.db

Of in gewoon Nederlands:
Hij plakt de whitelist 2x achter de hele lijst, zodat hij zeker weet dat alle namen dubbel voorkomen en de whitelist inhoud op het eind weer weg is. Vervolgens filtert hij, via het commando "uniq -u", alle entries uit die meer dan eens voorkomen. Dus alle iedentieke regels vallen dan weg. Regels met subdomeinen zijn anders en blijven gewoon staan.

[SmiGueL]

Thanks, maar als ik het hele domein Facebook.com op de whitelist plaats dan zou het toch ook moeten werken?

Afaik werkt het alleen andersom:

Als je op de blacklist bijvoorbeeld: apps.facebook.com, api.facebook.com en test.facebook.com hebt staan, dan worden alleen deze domeinen geblokkeerd en is facebook.com gewoon toegangkelijk (note dat, ook al zit je op facebook.com, alle content welke op bovengenoemde subdomeinen staat dus WEL geblokkeerd wordt!)

Als je facebook.com toevoegd aan je blacklist.txt, dan wordt dus facebook.com, maar OOK alle subdomeinen geblokkeerd.
Het toevoegen van apps.facebook.com enz. heeft dan dus geen enkele zin, want deze vallen allemaal onder facebook.com.

Wat de whitelist.txt doet, is het verwijderen van (bestaande) domeinen uit de blocklist.
Dus stel ik zet facebook.com in de whitelist.txt, dan wordt deze regel uit de blocklist gehaald (als deze al bestond, zo niet dan blijft deze er natuurlijk uit)
Maar dat betekend dus NIET dat deze regel ook gelijk apps.facebook.com en api.facebook.com enz. uit de blackist haalt.
Deze moeten dus even handmatig in de whitelist gezet worden. Dit kan vast wel snel door alle regels met facebook.com even op te zoeken in de lijsten en deze te copy-pasten in de whitelist.txt

Note dat als je Facebook wilt gebruiken je echt niet alle facebook domeinen hoeft te whitelisten.
Ik kwam er wel achter dat toen ik een foto wilde uploaden ik upload.facebook.com en pixel.facebook.com even in de whitelist moest zetten.
Om Facebook fatsoenlijk op m'n telefoon (Android App) te laten werken moest ik even apps.facebook.com en api.facebook.com whitelisten.
Verder heb ik al die honderden subdomeinen nog steeds geblokkeerd en dat werkt prima.

Zelf draai ik ook gewoon de default aangevinkte lijsten, HostFileNet die blokkeerde volgens mij wat te veel en gebruikte vrij veel RAM dus die heb ik standaard uit gezet.

De handvol whitelist.txt domeinen die ik heb zijn eigenlijk allemaal omdat deze in de RandomLargeList geblacklist staan. Dus als je écht veel problemen het hebt met te veel geblokkeerde websites, dan zou ik deze grote lijst eens uitvinken en kijken of het dan beter gaat.
Deze lijst zorgt er bij mij voor dat alle in-app advertenties niet op m'n telefoons doorkomen, dus ik houd hem er graag in.

[subsense]

Wat een fantastisch uitgebreid antwoord! Ik begrijp nu helemaal hoe het werkt. En jouw uitleg is dan ook zeer logisch. Ik denk dat mijn zoektocht ten einde is voor dit issue!

[Briolet]

Hallo SmiGue. Mij valt wel vaker op dat Nederlanders altijd vooraan zitten als het om programmeren gaat.

Nog een suggestie: Waarom heb je er voor gekozen om de White- en Blacklist in het formaat van de DNS server te maken? Al die andere lijsten ga je toch al aanpassen vanwege een afwijkend inputformaat. Het was iets gebruikersvriendelijker geweest als je alleen de URL zelf hoefde op te nemen en het script dit vervolgens omvormde. Dat leest in elk geval een stuk makkelijker als je er doorheen loopt.

En petje af voor je duidelijke installatie instructies op het Engelse forum.

[SmiGueL]

Hij plakt de whitelist 2x achter de hele lijst, zodat hij zeker weet dat alle namen dubbel voorkomen en de whitelist inhoud op het eind weer weg is. Vervolgens filtert hij, via het commando "uniq -u", alle entries uit die meer dan eens voorkomen. Dus alle iedentieke regels vallen dan weg.

Whaha, ja dit was de oplossing die mij het eerst te binnen schoot. Bij het maar 1x toevoegen zouden domeinnamen die niet op een van de blacklists staan dus plots wél geblokkeerd worden.

Het zal ongetwijfeld ook anders kunnen maar dit werkt prima.

[subsense]

Het was iets gebruikersvriendelijker geweest als je alleen de URL zelf hoefde op te nemen en het script dit vervolgens omvormde. Dat leest in elk geval een stuk makkelijker als je er doorheen loopt.

Nou, dat wil ik een beetje tegenspreken. Het is nu Super Easy om de grote lijsten te openen. (in mijn geval) te zoeken op Facebook, Copy & Paste in de Whitelist en klaar.
Het zijn nogal wat entries, 187 in mijn geval. De comments bij GPupdate werken weer, maar ook de mobiele Facebook app. Erg handig om die te blacklisten als je bezoek krijgt ;-).

Ik wordt hier zo blij van ;-)

[subsense]

Even een update.
Ik heb gisteren behoorlijk lopen stoeien met onedrive.live.com.
Deze site was niet meer bereikbaar. Mijn telefoon kon nog wel foto's (automatisch) uploaden, maar Synology Cloud Sync kon ze niet meer syncen met een lokale shared folder.
OneDrive op mijn android telefoon werkte ook niet meer.
Ik heb gezocht en gezocht, met Wireshark, Netstat, noem maar op, maar heb niet de juiste urls's kunnen vinden. Er wordt telkens verbinding gemaakt met ***.1drive.com. Maar whitelisten werkte niet.

Echter na het uitzetten van de pi-hole lists werkte het weer. Dit is momenteel mijn config:

   YoyoList=1   
   Malwaredomains2=0
   RandomLargeList=0
   PiHoleList=0   
   Malwaredomains1=1
   sysct1=1
   amazonws1=1
   amazonws2=1
   HostsFileNet=1
   Quidsupstracker=0

En nog steeds geed ads ;-)

[Briolet]

Ik heb gezocht en gezocht, met Wireshark, Netstat, noem maar op, maar heb niet de juiste urls's kunnen vinden.

Wat je ook kun proberen is om in de DNS server, de logging aan te passen. De settings staan volgens mij per default op "notice", Je kunt nog één niveau meer loggen. Dan komen echt alle opgevraagde url's in het log, met de tijd erbij.

Dat is natuurlijk het nadeel van een adblokker op je hele lan. Bij een losse adblokker op de PC kun je vaak per website nog whitelisten. Of je zet de adblokker even uit om te testen of de problemen in de adblokker zitten.
Dat laatste doe ik door even een andere DNS server te gebruiken. Op mijn laptop heb ik toch al DNS-Crypt geïnstalleerd. Binnen je lan is die niet nodig, dus thuis staat die altijd uit. Maar het programma installeert zich in de menubar, zodat je het heel makkelijk even aan en uit kunt zetten. (in elk geval mijn mac versie, maar ik neem aan ook op de windows versie) Op publieke Wifi zet je het dan even aan, maar ook als je thuis vermoed dat problemen optreden door adblokking. Dan omzeil je je eigen adblokker doordat DNSCrypt even een andere DNS server pakt zonder dat je helemaal in je systeeminstellingen moet duiken.

[subsense]

Thanks, goede tips! Ik zal die logging er inderdaad eens op naslaan.
Voor zover ik nu kan testen lijkt alles te werken binnen mijn thuisnetwerk.
Hier worden 3 laptops gebruikt, een iPad, CCTV en 2 kodi's (en nog wat andere meuk) maar voor zover ik nu getest heb, geen problemen meer.

[Briolet]

   RandomLargeList=0

Verstandig want die lijst blokt wel heel courante en onverdachte adressen. b.v. "yahoo.com". Ik kwam er net achter dat de aandelen functie, die standaard in de mac zit, niet werkt als de bloklist actief is. De mac gebruikt hier "finance.yahoo.com" voor. Maar omdat het 'Yahoo.com" domein zelf al geblokt wordt, zijn alle subdomeinen ook geblokt.

Ik heb Yahoo.com nu op de whitelist gezet en de "RandomLargeList" actief gelaten. Maar als deze site er op staat zullen er wel meer onverdachte sites op staan.

[Briolet]

Ik wilde vandaag de "Garmin route tracker" gebruiken. Daarmee kun je iemand via de browser volgen die zijn Garmin tracking systeem aan heeft staan. Het werkte niet. De pagina bleef wit.

Na lang puzzelen vond ik dat de webpagina begint met een script op te halen van "tags.tiqcdn.com". En deze site staat zowel op de "large random list" als op de "Pi Hole list".

Whitelisten dus voor mij. (Leuk die adblokkers  )

Edit:
Eigenlijk moesten 4 domeinen ge-whitelist worden om dit werkend te krijgen:
"tiqcdn.com", "tags.tiqcdn.com", "dev.virtualearth.net" en "ecn.dev.virtualearth.net".

Je kunt dergelijke geblokte domeinnamen in voorkomende gevallen het simpelst vinden door in het errorlog van de browser te kijken naar verbindingen die niet opgezet kunnen worden. En check of niet ook het hoofddomein in de bloklist staat, want dan blokkeert hij nog steeds de expliciet ge-whiteliste subdomeinen.

[jeltel]

Op de RT1900ac heb ik geprobeerd deze sy-hole te installeren volgens de tutorial. Dat lijkt allemaal goed te gaan. Maar in de log van de DNS server package krijg ik, zo te zien, voor elke ad-block onderstaande melding:

/etc/zone/data/ad-blocker.db:96179: unknown option: 'Lzone'

Soms 'LLzone' of simpelweg 'L'

Dat lijkt me niet goed. De config faild uiteindelijk dus ook. What to do?