voorkomen google indexing inurl:webman/index.cgi

[hansiedown]

Zie topic:
   Re: LET OP: NAS HACK: Synolocker actief.  Hieruit volgt voor mij de vraag: Hoe kun je nu voorkomen dat google (en andere webcrawlers) dat je synology verbinding geindexeerd wordt.
 
Theoretisch zou dit gedaan kunnen worden door robots.txt op te nemen met de opties:
User-agent: *
Disallow: /
 
Zie: http://www.anchor.com.au/hosting/development/preventing_sites_being_crawled_robots.txt
 
Mijn vraag is 2 ledig:
1. Werkt deze optie (nog steeds) en geeft deze voldoende resultaat?
2. Waar zou ik robots.txt moeten plaatsen om indexing van Webadmin te voorkomen?
 
greets

[Richard67]

De beste beveiliging is het niet open te stellen op het internet. Als je je DSM desktop niet toegankelijk hebt vanaf het internet, kan niemand erbij. Ook de zoekmachines niet. Dat zoekmachines robots.txt respecteren is niet meer dan dat: respecteren. Niets weerhoud ze ervan het te negeren en toch je web presentie af te scannen. Je moet jezelf de vraag stellen of je daarvan afhankelijk wil zijn. Je kunt er vanuit gaan dat wanneer je op het internet zichtbaar wilt zijn, je je niet kunt verstoppen.
Als je het toch met je DSM desktop op het internet wilt zijn, kun je een aantal opties overwegen:
1. Een niet standaard poort gebruiken. (Andere dan 5000 en/of 5001)
2. Sterke wachtwoorden op je accounts
3. two-factor autenticatie op de accounts
4. Hopen dat je software geen kwetsbaarheden bevat die gebruikt kunnen worden door kwaadwillenden: Synolocker. (Dit los je niet met sterke wachtwoorden op!)

Je kunt overwegen de desktop alleen te ontsluiten via VPN, maar dan moet je er vanuit gaan dat de VPN software geen kwetsbaarheden bevat...

Ergo: risicoloos bestaat in deze niet. Als je dat allemaal niet wilt, blijft alleen het ontoegankelijk maken vanaf het internet over.

[r00n]

Je kan altijd een .htaccess file overwegen. Dan heeft het niet meer met respecteren te maken. Alleen zal je dan aan moeten geven van welke IP adressen je er allemaal bij mag of welke IP adressen allemaal niet. Waar je dat bestand dan dient te plaatsen durf ik zo snel niet te zeggen, maar denk dat er hier iemand op het forum is die dat wel kan vertellen.

En vergeet je firewall op je NAS niet! Misschien is dat nog wel makkelijker dan wat ik hierboven schreef!!!

[hansiedown]

Als indexerings websites robot.txt respecteren, is mijn NAS minder makkelijk te vinden.
Als mijn NAS minder makelijk te vinden is, is de kans op een hack minder groot.
Hoe moelijker ik het dus maak om mij te vinden, hoe minder kans op een hack.
 
Het veranderen van de standaard poort, heeft geen effect; zie de resultaten in google bij het uivoeren van de query.
 

Je kan altijd een .htaccess file overwegen.

De beste beveiliging is het niet open te stellen op het internet. Als je je DSM desktop niet toegankelijk hebt vanaf het internet, kan niemand erbij. Ook de zoekmachines niet.

Ik snap dat als mijn DS niet beschikbaar is via internet hij niet geindexeerd kan worden.
Het toepassen van een .htaccess file komt volgens mij te laat (kan mij vergissen) dit heeft uitsluitend met toegang te maken. Ook is (voor mij) de grote vraag wat ik hierin zou moeten plaatsen.
 
Meestal benader ik de vanuit een klant netwerk mijn NAS. Via mijn klanten netwerken, kom ik met de vreemdste en willekeurigste IP adressen bij mijn NAS (ondanks dat ik in NL zit te werken, hebben deze klanten internet koppelingen vanuit andere landen waar de centrale gateway staat opgesteld).
 
Met andere woorden; wat zijn de mogelijkheden om mij zo onzichtbaar mogelijk te maken in idexerings sites.
 
 
 

[r00n]

Als alles zo onzichtbaar mogelijk moet dan zal ik VPN gebruiken

[Birdy]

Ik ben een leek op dit gebied maar kan wel Googlelen en vond deze: "Toegang tot de inhoud van uw site blokkeren".

[hansiedown]

Ben even aan het zoeken gegaan op mijn syno.
In de map .usr/syno/synoman staat een bestand robots.txt
Standaard heeft dit de inhoudt:
User-agent: *
Disallow: /
 
Als ik deze aanpas dan wordt ik indexeerbaar, als ik deze origineel laat staan ben ik niet indexeerbaar conform de regels van:
'Checks are done considering the original 1994 document A Standard for Robot Exclusion, the 1997 Internet Draft specification A Method for Web Robots Control and nonstandard extensions that have emerged over the years. '
 
Ik heb bovenstaande gecontroleerd met http://www.frobee.com/robots-txt-check
 
Waarom andere synology stations dan wel zichtbaar worden in google op webman/index.cgiis voor mij onduidelijk.
Ikzelf gebruik DSM 5.0, wellicht dat in eerdere versies een en ander niet/anders stond ingesteld
Beheerders deze hebben aangepast (lijkt mij onzinnig)
Google (en andere index sites) deze afspraak niet meer respecteren
 
Deze kan gesloten worden.
 

[r00n]

Hey Hansie, als je meerdere klanten wilt ondersteunen en jij komt steeds van een ander IP adres. Is het dan niet een idee om ze allemaal gewoon dicht te zetten op de firewall en dan op je eigen Synology de VPN server in te schakelen? Jij krijgt bij het verbinden altijd je eigen ip mee.... Alleen moet je wel opletten dat die niet aanpast want dan sluit je je dus wel buiten.

[hansiedown]

r00n,
VPN vereist dat er bepaalde poorten openstaan op de firewall van de klant, althans mijn ervaring met Cisco, Juniper en MS VPN clients, in grotere netwerken staan uitsluitend poort 80 en 443 naar internet voor gebruikers open.
VPN clients volgen niet de configuratie van de internet explorer onfiguratie (met andere instellingen dan het lokale netwerk) hierdoor is het correct configureren van zulke clients 'moeilijker'.
Het vereist dat er VPN client software op het betreffende werkstation geinstalleerd mag/kan worden, dit is niet altijd mogelijk/geoorloofd.
In sommige gevallen vereist de internet firewall aditionele userauthenticatie, dit wordt niet ondersteund door de hierboven vermelde VPN clients.

Voor mij is dit nog 'snap baar' voor mijn andere familieleden niet meer. Vandaar dat ik een 'open' connectie heb met internet.

[Briolet]

Het voorkomen dat bots je indexeren heeft geen invloed op kwaadwillenden die je willen vinden. Er zijn genoeg bots die zich niets aantrekken van zo'n "not indexing" message.

Beter is het om een regio blokkade in te vullen. b.v. alleen Nederlandse IP's toegang geven tot poort 5000/5001.

Als andere klanten er via buitenlandse IP's bij willen kun je zeggen dat dat hun probleem is als zij foute locaties doorgeven. 
Als dat een vaste groep is, kun je hun IP adressen expliciet toegang geven. Of je vraagt ze via een Nederlandse VPN server in te loggen. Dan moet je ook vpn adressen in de regio instellingen toestaan. (Dat is een van de eerste twee regio regels, als ik het goed onthouden heb)

[r00n]

Je kan PPTP op een alternatieve poort zetten en de cliënt is standaar aanwezig. Maar ken de bedrijfsnetwerken verder niet... Dus als dit geen optie is dan houdt VPN op.