Auteur Topic: voorkomen google indexing inurl:webman/index.cgi  (gelezen 5372 keer)

Offline hansiedown

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 14
  • -Ontvangen: 100
  • Berichten: 438
    • mijnweetjes
voorkomen google indexing inurl:webman/index.cgi
« Gepost op: 22 augustus 2014, 17:18:14 »
Zie topic:
   Re: LET OP: NAS HACK: Synolocker actief.  Hieruit volgt voor mij de vraag: Hoe kun je nu voorkomen dat google (en andere webcrawlers) dat je synology verbinding geindexeerd wordt.
 
Theoretisch zou dit gedaan kunnen worden door robots.txt op te nemen met de opties:
User-agent: *
Disallow: /
 
Zie: http://www.anchor.com.au/hosting/development/preventing_sites_being_crawled_robots.txt
 
Mijn vraag is 2 ledig:
1. Werkt deze optie (nog steeds) en geeft deze voldoende resultaat?
2. Waar zou ik robots.txt moeten plaatsen om indexing van Webadmin te voorkomen?
 
greets
  • Mijn Synology: DS1621+
  • HDD's: 6 x WD40EFZX
  • Extra's: 4Gb

Offline Richard67

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 44
  • -Ontvangen: 59
  • Berichten: 370
    • Q&D Website
Re: voorkomen google indexing inurl:webman/index.cgi
« Reactie #1 Gepost op: 22 augustus 2014, 23:32:49 »
De beste beveiliging is het niet open te stellen op het internet. Als je je DSM desktop niet toegankelijk hebt vanaf het internet, kan niemand erbij. Ook de zoekmachines niet. Dat zoekmachines robots.txt respecteren is niet meer dan dat: respecteren. Niets weerhoud ze ervan het te negeren en toch je web presentie af te scannen. Je moet jezelf de vraag stellen of je daarvan afhankelijk wil zijn. Je kunt er vanuit gaan dat wanneer je op het internet zichtbaar wilt zijn, je je niet kunt verstoppen.
Als je het toch met je DSM desktop op het internet wilt zijn, kun je een aantal opties overwegen:
1. Een niet standaard poort gebruiken. (Andere dan 5000 en/of 5001)
2. Sterke wachtwoorden op je accounts
3. two-factor autenticatie op de accounts
4. Hopen dat je software geen kwetsbaarheden bevat die gebruikt kunnen worden door kwaadwillenden: Synolocker. (Dit los je niet met sterke wachtwoorden op!)

Je kunt overwegen de desktop alleen te ontsluiten via VPN, maar dan moet je er vanuit gaan dat de VPN software geen kwetsbaarheden bevat...

Ergo: risicoloos bestaat in deze niet. Als je dat allemaal niet wilt, blijft alleen het ontoegankelijk maken vanaf het internet over.
  • Mijn Synology: 1511+
  • HDD's: 5x WD20EFRX
  • Extra's: 2GB RAM
Who on earth is General Failure and why the hell is he reading my hard drive?

Offline r00n

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 15
  • -Ontvangen: 88
  • Berichten: 677
Re: voorkomen google indexing inurl:webman/index.cgi
« Reactie #2 Gepost op: 22 augustus 2014, 23:42:17 »
Je kan altijd een .htaccess file overwegen. Dan heeft het niet meer met respecteren te maken. Alleen zal je dan aan moeten geven van welke IP adressen je er allemaal bij mag of welke IP adressen allemaal niet. Waar je dat bestand dan dient te plaatsen durf ik zo snel niet te zeggen, maar denk dat er hier iemand op het forum is die dat wel kan vertellen.

En vergeet je firewall op je NAS niet! Misschien is dat nog wel makkelijker dan wat ik hierboven schreef!!!
  • Mijn Synology: DS218+
  • HDD's: Heleboel...

Offline hansiedown

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 14
  • -Ontvangen: 100
  • Berichten: 438
    • mijnweetjes
Re: voorkomen google indexing inurl:webman/index.cgi
« Reactie #3 Gepost op: 24 augustus 2014, 14:44:11 »
Als indexerings websites robot.txt respecteren, is mijn NAS minder makkelijk te vinden.
Als mijn NAS minder makelijk te vinden is, is de kans op een hack minder groot.
Hoe moelijker ik het dus maak om mij te vinden, hoe minder kans op een hack.
 
Het veranderen van de standaard poort, heeft geen effect; zie de resultaten in google bij het uivoeren van de query.
 
Je kan altijd een .htaccess file overwegen.
De beste beveiliging is het niet open te stellen op het internet. Als je je DSM desktop niet toegankelijk hebt vanaf het internet, kan niemand erbij. Ook de zoekmachines niet.

Ik snap dat als mijn DS niet beschikbaar is via internet hij niet geindexeerd kan worden.
Het toepassen van een .htaccess file komt volgens mij te laat (kan mij vergissen) dit heeft uitsluitend met toegang te maken. Ook is (voor mij) de grote vraag wat ik hierin zou moeten plaatsen.
 
Meestal benader ik de vanuit een klant netwerk mijn NAS. Via mijn klanten netwerken, kom ik met de vreemdste en willekeurigste IP adressen bij mijn NAS (ondanks dat ik in NL zit te werken, hebben deze klanten internet koppelingen vanuit andere landen waar de centrale gateway staat opgesteld).
 
Met andere woorden; wat zijn de mogelijkheden om mij zo onzichtbaar mogelijk te maken in idexerings sites.
 
 
 
  • Mijn Synology: DS1621+
  • HDD's: 6 x WD40EFZX
  • Extra's: 4Gb

Offline r00n

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 15
  • -Ontvangen: 88
  • Berichten: 677
Re: voorkomen google indexing inurl:webman/index.cgi
« Reactie #4 Gepost op: 24 augustus 2014, 14:56:32 »
Als alles zo onzichtbaar mogelijk moet dan zal ik VPN gebruiken
  • Mijn Synology: DS218+
  • HDD's: Heleboel...

Offline Birdy

  • Global Moderator
  • MVP
  • *
  • Bedankjes
  • -Gegeven: 1381
  • -Ontvangen: 7983
  • Berichten: 44.003
  • Alleen een PB sturen als hier om gevraag wordt.
    • Truebase
Re: voorkomen google indexing inurl:webman/index.cgi
« Reactie #5 Gepost op: 24 augustus 2014, 15:03:02 »
Ik ben een leek op dit gebied maar kan wel Googlelen en vond deze: "Toegang tot de inhoud van uw site blokkeren".


CS406      DSM 2.0-0731    DS508      DSM 4.0-2265      DS411+II  DSM 6.2.4-25556-7   DS115J    DSM 7.1.1-42962-5   DS918+    DSM 6.2.4-25556-7
DS107+     DSM 3.1-1639    DS411slim  DSM 6.2.4-25556   DS213J    DSM 6.2.4-25556-7   DS1515+   DSM 6.2.4-25556-7   DS220+    DSM 7.2.2-72806-1
DS107+     DSM 3.1-1639    DS111      DSM 5.2-5967-9    DS413J    DSM 6.2.3-25426-2   DS716+II  DSM 7.2.2-72806-1   RT2600ac  SRM 1.3.1-9346-12
BeeDrive   1TB             BeeServer  BSM 1.1-65374                                                                 MR2200ac  SRM 1.3.1-9346-12

Offline hansiedown

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 14
  • -Ontvangen: 100
  • Berichten: 438
    • mijnweetjes
Re: voorkomen google indexing inurl:webman/index.cgi
« Reactie #6 Gepost op: 24 augustus 2014, 17:36:54 »
Ben even aan het zoeken gegaan op mijn syno.
In de map .usr/syno/synoman staat een bestand robots.txt
Standaard heeft dit de inhoudt:
User-agent: *
Disallow: /
 
Als ik deze aanpas dan wordt ik indexeerbaar, als ik deze origineel laat staan ben ik niet indexeerbaar conform de regels van:
'Checks are done considering the original 1994 document A Standard for Robot Exclusion, the 1997 Internet Draft specification A Method for Web Robots Control and nonstandard extensions that have emerged over the years. '
 
Ik heb bovenstaande gecontroleerd met http://www.frobee.com/robots-txt-check
 
Waarom andere synology stations dan wel zichtbaar worden in google op webman/index.cgiis voor mij onduidelijk.
Ikzelf gebruik DSM 5.0, wellicht dat in eerdere versies een en ander niet/anders stond ingesteld
Beheerders deze hebben aangepast (lijkt mij onzinnig)
Google (en andere index sites) deze afspraak niet meer respecteren
 
Deze kan gesloten worden.
 
  • Mijn Synology: DS1621+
  • HDD's: 6 x WD40EFZX
  • Extra's: 4Gb

Offline r00n

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 15
  • -Ontvangen: 88
  • Berichten: 677
Re: voorkomen google indexing inurl:webman/index.cgi
« Reactie #7 Gepost op: 24 augustus 2014, 17:46:14 »
Hey Hansie, als je meerdere klanten wilt ondersteunen en jij komt steeds van een ander IP adres. Is het dan niet een idee om ze allemaal gewoon dicht te zetten op de firewall en dan op je eigen Synology de VPN server in te schakelen? Jij krijgt bij het verbinden altijd je eigen ip mee.... Alleen moet je wel opletten dat die niet aanpast want dan sluit je je dus wel buiten.
  • Mijn Synology: DS218+
  • HDD's: Heleboel...

Offline hansiedown

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 14
  • -Ontvangen: 100
  • Berichten: 438
    • mijnweetjes
Re: voorkomen google indexing inurl:webman/index.cgi
« Reactie #8 Gepost op: 25 augustus 2014, 09:17:46 »
r00n,
VPN vereist dat er bepaalde poorten openstaan op de firewall van de klant, althans mijn ervaring met Cisco, Juniper en MS VPN clients, in grotere netwerken staan uitsluitend poort 80 en 443 naar internet voor gebruikers open.
VPN clients volgen niet de configuratie van de internet explorer onfiguratie (met andere instellingen dan het lokale netwerk) hierdoor is het correct configureren van zulke clients 'moeilijker'.
Het vereist dat er VPN client software op het betreffende werkstation geinstalleerd mag/kan worden, dit is niet altijd mogelijk/geoorloofd.
In sommige gevallen vereist de internet firewall aditionele userauthenticatie, dit wordt niet ondersteund door de hierboven vermelde VPN clients.

Voor mij is dit nog 'snap baar' voor mijn andere familieleden niet meer. Vandaar dat ik een 'open' connectie heb met internet.

  • Mijn Synology: DS1621+
  • HDD's: 6 x WD40EFZX
  • Extra's: 4Gb

Offline Briolet

  • Global Moderator
  • MVP
  • *
  • Bedankjes
  • -Gegeven: 180
  • -Ontvangen: 2667
  • Berichten: 16.548
Re: voorkomen google indexing inurl:webman/index.cgi
« Reactie #9 Gepost op: 25 augustus 2014, 11:15:05 »
Het voorkomen dat bots je indexeren heeft geen invloed op kwaadwillenden die je willen vinden. Er zijn genoeg bots die zich niets aantrekken van zo'n "not indexing" message.

Beter is het om een regio blokkade in te vullen. b.v. alleen Nederlandse IP's toegang geven tot poort 5000/5001.

Als andere klanten er via buitenlandse IP's bij willen kun je zeggen dat dat hun probleem is als zij foute locaties doorgeven.  :P
Als dat een vaste groep is, kun je hun IP adressen expliciet toegang geven. Of je vraagt ze via een Nederlandse VPN server in te loggen. Dan moet je ook vpn adressen in de regio instellingen toestaan. (Dat is een van de eerste twee regio regels, als ik het goed onthouden heb)
  • Mijn Synology: DS415+
  • HDD's: 3x 3TB in SHR
  • Extra's: DS212J, RT1900ac

Offline r00n

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 15
  • -Ontvangen: 88
  • Berichten: 677
Re: voorkomen google indexing inurl:webman/index.cgi
« Reactie #10 Gepost op: 25 augustus 2014, 12:23:51 »
Je kan PPTP op een alternatieve poort zetten en de cliënt is standaar aanwezig. Maar ken de bedrijfsnetwerken verder niet... Dus als dit geen optie is dan houdt VPN op.
  • Mijn Synology: DS218+
  • HDD's: Heleboel...


 

voorkomen automatische uitschakeling DS209

Gestart door pauluz_firstBoard FTP, NFS and Samba Server

Reacties: 1
Gelezen: 1564
Laatste bericht 07 februari 2011, 11:17:01
door Björn
Voorkomen dat Couchpotato Corrupted Films Download

Gestart door hotlineBoard CouchPotato

Reacties: 4
Gelezen: 2242
Laatste bericht 04 maart 2015, 10:39:28
door TonVH
Netwerk storm voorkomen bij redundante verbinding

Gestart door bartmans99Board Netwerk algemeen

Reacties: 3
Gelezen: 654
Laatste bericht 18 juli 2024, 13:51:55
door bartmans99
Is dit pop-up scherm te voorkomen?

Gestart door MrwandelfreakBoard Synology DSM algemeen

Reacties: 10
Gelezen: 3628
Laatste bericht 07 mei 2013, 19:18:10
door Mrwandelfreak
Hoe vele opnames voorkomen ?

Gestart door Jan01Board Surveillance Station

Reacties: 27
Gelezen: 3883
Laatste bericht 22 januari 2019, 15:56:23
door Jan01