Auteur Topic: Iemand een optie om duplicaat bestanden te vinden?  (gelezen 5003 keer)

Offline SPiET

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 34
  • -Ontvangen: 9
  • Berichten: 402
Iemand een optie om duplicaat bestanden te vinden?
« Gepost op: 27 september 2018, 16:07:44 »
Hallo iedereen,

Ik heb wat bestanden , groot en klein waar de bestandsnaam wel het zelfste zijn.

Bijv een film in bluray formaat XXX_1 en ook de film in mkv formaat XXX_A, enkel de groote en misschien wat extra in de bestandsnaam (en folder) verschillen.

Nu heb ik geprobeerd via opslag analyzer duplicate bestanden te vinden maar die geeft enkel wat identiek aan bestandsnaam duplicaat is .

Had graag geweten als er iets bestaat die mij bestanden en mappen weergeeft waar er enkele (zelf te kiezen) bestandsnamen in voorkomen. Een film van bluray en diezelfste in mkv formaat hebben soms een andere (de filmnaam blijft wel hetzelfste) bestandsnaam.

bedankt.

Offline mchp92

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 62
  • -Ontvangen: 290
  • Berichten: 1.467
Re: Iemand een optie om duplicaat bestanden te vinden?
« Reactie #1 Gepost op: 27 september 2018, 16:14:12 »
Zoals ik je mail lees zijn de namen toch niet t zelfde, omdat er allerei nadere specificaties in verwerkt zijn. Het gaat je dus om bestanden met bv begintext/prefix, of de bestanden die allemaal een bepaalde tekenreeks in de naam hebben?

Nou heb ik al heel lang niet meer met mn vingers aan Unix gezeten, maar ik zou met iets als ssh een shell openen op de nas, en met n recursieve directory list de gewenste eruit greppen

Iets als “ls -lR | grep <jouw_zoektext>” of zoiets. Ken de opties van ls commando miet meer uit mn hoofd.
  • Mijn Synology: DS213j
  • HDD's: 2x Seagate 4TB

Ben(V)

  • Gast
Re: Iemand een optie om duplicaat bestanden te vinden?
« Reactie #2 Gepost op: 27 september 2018, 16:54:43 »
Je kunt toch gewoon op je PC met de verkenner een wildcard search doen.

Offline SPiET

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 34
  • -Ontvangen: 9
  • Berichten: 402
Re: Iemand een optie om duplicaat bestanden te vinden?
« Reactie #3 Gepost op: 27 september 2018, 17:25:44 »
@mchp92

Ja idd

voorbeeldje

film.a.is.de.beste.nl.1080p.bluray

film.a.is.de.beste.nl.5.1.1080p.mkv

film.a.is.de.beste.nl.iso

Dus 3x dezelfste film. De naam van de film is hetzelfste maar alle andere tekens die in de bestandsnaam EN map zitten niet.

Heb al es opslag analyzer laten draaien via DSM maar dit geeft niet het gewenste resultaat.

@Ben(V) : ja idd maar als je veel mapjes en bestanden hebt is dit nogal veel werk omdat je soms zelf niet meer weet wat je juist hebt. Daarmee is iets geautomatiseerd veel handiger, dat ben ik juist op zoek.

Mvg

Ben(V)

  • Gast
Re: Iemand een optie om duplicaat bestanden te vinden?
« Reactie #4 Gepost op: 27 september 2018, 17:44:19 »
Het stikt van op het internet van de duplicate file finder programma's voor windows.
Als programmeur kan je verzekeren dat zelf iets met grep in elkaar sleutelen gecompliceerder is dan dat het op het eerste gezicht lijkt.

Offline mchp92

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 62
  • -Ontvangen: 290
  • Berichten: 1.467
Re: Iemand een optie om duplicaat bestanden te vinden?
« Reactie #5 Gepost op: 27 september 2018, 17:47:41 »
Ja dat weet ik
Heb ook de nodige jaren development ervaring op diverse platforms, ook unix
Grootste valkuil is dat je t steeds mooier en intelligenter wilt maken
En voor je t weet ben je dagen aan t klussen
Wat overigens wel weer heel leuk is ;-)
  • Mijn Synology: DS213j
  • HDD's: 2x Seagate 4TB

Offline Briolet

  • Global Moderator
  • MVP
  • *
  • Bedankjes
  • -Gegeven: 180
  • -Ontvangen: 2680
  • Berichten: 16.584
Re: Iemand een optie om duplicaat bestanden te vinden?
« Reactie #6 Gepost op: 27 september 2018, 18:27:22 »
Nu heb ik geprobeerd via opslag analyzer duplicate bestanden te vinden maar die geeft enkel wat identiek aan bestandsnaam duplicaat is .

Opslag analyser haalt echt alle duplicate bestanden eruit, ook al is de naam totaal verschillend. Hij kijkt nml ook naar de md5 hash van een bestand.

Als dat bij jou mis gaat zijn het niet dezelfde bestanden. Als jij een film b.v. naar een ander formaat converteert, zijn het voor de analyzer natuurlijk twee verschillende bestanden, ook al ervaar jij het als dezelfde film.

Je kunt in de analyser de checkbox aanzetten om ook dubbele kandidaten te vinden. Staat bij mij uit, maar ik denk dat hij dan minder precies is en  meer potentieel dubbele files vind. b.v. waar de md5 hash misschijn wel afwijkt, maar de naam gelijk is. Heb je die optie al eens geprobeerd?
  • Mijn Synology: DS415+
  • HDD's: 3x 3TB in SHR
  • Extra's: DS212J, RT1900ac

Ben(V)

  • Gast
Re: Iemand een optie om duplicaat bestanden te vinden?
« Reactie #7 Gepost op: 27 september 2018, 19:42:51 »
Hij zoekt niet dezelfde bestanden maar look-a-likes.
En dat is precies het probleem.
Wat mensen heel voor de hand vinden liggen dat het dezelfde video is, is heel moeilijk in regels te vatten is.
Je komt dan op het gebied van "fuzzy logic", dus niet iets is waar of onwaar, maar iets is "ongeveer" waar of "lijkt erop".

Offline Birdy

  • Global Moderator
  • MVP
  • *
  • Bedankjes
  • -Gegeven: 1399
  • -Ontvangen: 8046
  • Berichten: 44.176
  • Fijne feestdagen.......
    • Truebase
Re: Iemand een optie om duplicaat bestanden te vinden?
« Reactie #8 Gepost op: 27 september 2018, 20:09:48 »
@mchp92
voorbeeldje

film.a.is.de.beste.nl.1080p.bluray

film.a.is.de.beste.nl.5.1.1080p.mkv

film.a.is.de.beste.nl.iso

Dus 3x dezelfste film. De naam van de film is hetzelfste maar alle andere tekens die in de bestandsnaam EN map zitten niet.

Jouw voorbeeld werkt toch in Windows Verkenner ?
Of sla ik hier de plank volledig mis.

42227-0


CS406      DSM 2.0-0731    DS508      DSM 4.0-2265      DS411+II  DSM 6.2.4-25556-8   DS115J    DSM 7.1.1-42962-5   DS918+    DSM 6.2.4-25556-8
DS107+     DSM 3.1-1639    DS411slim  DSM 6.2.4-25556   DS213J    DSM 6.2.4-25556-7   DS1515+   DSM 6.2.4-25556-8   DS220+    DSM 7.2.2-72806-2
DS107+     DSM 3.1-1639    DS111      DSM 5.2-5967-9    DS413J    DSM 6.2.3-25426-2   DS716+II  DSM 7.2.2-72806-2   RT2600ac  SRM 1.3.1-9346-12
BeeDrive   1TB             BeeServer  BSM 1.2-65567                                                                 MR2200ac  SRM 1.3.1-9346-12

Offline Briolet

  • Global Moderator
  • MVP
  • *
  • Bedankjes
  • -Gegeven: 180
  • -Ontvangen: 2680
  • Berichten: 16.584
Re: Iemand een optie om duplicaat bestanden te vinden?
« Reactie #9 Gepost op: 27 september 2018, 21:30:39 »
Dan moet je elke naam handmatig invullen. Voor 1 file is dat ook simpel. Ik denk eerder dat hij een methode zoekt die geautomatiseerd een lijst van alle files maakt waar b.v. 80% van een aaneengesloten stuk karakters in de filenaam overeenkomt.

En het liefst nog gecombineerd met iets als gezichtsherkenning, zodat hij ook op basis van de inhoud, gelijke films vind.
  • Mijn Synology: DS415+
  • HDD's: 3x 3TB in SHR
  • Extra's: DS212J, RT1900ac

Offline Birdy

  • Global Moderator
  • MVP
  • *
  • Bedankjes
  • -Gegeven: 1399
  • -Ontvangen: 8046
  • Berichten: 44.176
  • Fijne feestdagen.......
    • Truebase
Re: Iemand een optie om duplicaat bestanden te vinden?
« Reactie #10 Gepost op: 27 september 2018, 21:41:53 »
Ja......das waar ::)


CS406      DSM 2.0-0731    DS508      DSM 4.0-2265      DS411+II  DSM 6.2.4-25556-8   DS115J    DSM 7.1.1-42962-5   DS918+    DSM 6.2.4-25556-8
DS107+     DSM 3.1-1639    DS411slim  DSM 6.2.4-25556   DS213J    DSM 6.2.4-25556-7   DS1515+   DSM 6.2.4-25556-8   DS220+    DSM 7.2.2-72806-2
DS107+     DSM 3.1-1639    DS111      DSM 5.2-5967-9    DS413J    DSM 6.2.3-25426-2   DS716+II  DSM 7.2.2-72806-2   RT2600ac  SRM 1.3.1-9346-12
BeeDrive   1TB             BeeServer  BSM 1.2-65567                                                                 MR2200ac  SRM 1.3.1-9346-12

Offline Vuurvreter

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 158
  • -Ontvangen: 87
  • Berichten: 1.136
    • vuurvreter
Re: Iemand een optie om duplicaat bestanden te vinden?
« Reactie #11 Gepost op: 27 september 2018, 23:20:34 »
Als je bestanden op de NAS opslaat, zorg je zelf toch voor een goede omschrijving om dit soort problemen te voorkomen?
Of zie ik dit verkeerd?
  • Mijn Synology: DS218+
  • HDD's: 2 x 8TB Toshiba N300
Ik ben aan het werk, niet op de vlucht.

Offline SPiET

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 34
  • -Ontvangen: 9
  • Berichten: 402
Re: Iemand een optie om duplicaat bestanden te vinden?
« Reactie #12 Gepost op: 28 september 2018, 08:34:39 »
Wel sommigen onder jullie hebben inderdaad gelijk.

Kijk het zit zo.

Ik heb bijv een film in bluray formaat.

Later heb ik diezelfste film als remux, mkv of iso MAAR omdat het al lang geleden is weet ik soms niet meer of ik deze al heb in een ander formaat.

Daar zou het idd leuk zijn moest er een app bestaan of een manier om dit geautomatiseerd te laten verlopen want als je bijv al honderden films liggen hebt, dan weet je soms niet meer of je ze dubbel hebt (in een ander formaat).

Alles in verkenner ingeven is onbegonnen werk want dan moet je idd iedere film afzonderlijk ingeven.

Ik dacht dat die functie in opslag analyzer wel ging inzitten maar niet.

Offline proxydude

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 22
  • -Ontvangen: 55
  • Berichten: 447
  • De stofzuiger van Usenet
    • Usenet handleidingen
Re: Iemand een optie om duplicaat bestanden te vinden?
« Reactie #13 Gepost op: 28 september 2018, 08:46:41 »
Of een film indexeert programma er op los laten. Zo als Kodi bijvoorbeeld?
  • Mijn Synology: DS1815+
  • HDD's: 7
  • Extra's: 2000
Usenet handleidingen Usenet Leegzuigen gewoon omdat het kan!

Offline dvandonkelaar

  • MVP
  • *
  • Bedankjes
  • -Gegeven: 12
  • -Ontvangen: 161
  • Berichten: 937
Re: Iemand een optie om duplicaat bestanden te vinden?
« Reactie #14 Gepost op: 28 september 2018, 08:55:21 »
Naast Kodi kun je ook je bibliotheek door Radarr laten indexeren, hierbij kun je ook meteen bestanden verwijderen die je niet nodig/dubbel hebt.
--
dvandonkelaar

DS415+ 8GB | 2xWD30EZRX en 2xWD30EFRX | RAID5 EXT4 [Productie]
DS211J | 2x WD20EZRZ | RAID1 EXT4 [Backup]
Eaton Ellipse PRO 650 DIN (Schuko)


 

CMDBuild - iemand ervaring met dit pakket?

Gestart door SynManBoard Overige software

Reacties: 6
Gelezen: 4078
Laatste bericht 10 september 2018, 16:36:15
door thecell
Iemand bekend met Bascom camera's?

Gestart door VuurvreterBoard Surveillance Station

Reacties: 14
Gelezen: 20853
Laatste bericht 10 januari 2023, 22:46:48
door Birdy
folders exluden als iemand via FTP access krijft

Gestart door AnonymousBoard FTP, NFS and Samba Server

Reacties: 1
Gelezen: 4500
Laatste bericht 22 oktober 2007, 15:20:30
door Björn
iemand die cphub werkend krijgt?

Gestart door B3rtBoard 3rd party Packages

Reacties: 7
Gelezen: 1962
Laatste bericht 05 augustus 2020, 22:10:57
door B3rt
Ik heb een 209j van iemand gehad, kan ik daar nog wat mee?

Gestart door EdMBoard NAS hardware vragen

Reacties: 2
Gelezen: 1263
Laatste bericht 14 januari 2020, 21:04:32
door computergek92