Synology photos auto sort script

[Matr1x]

Je kunt ook eerst de dubbele laten opzoeken en dan verwijderen:

Maar die kijkt vast alleen naar bestandsnamen... Waar vind ik dat rapport eigenlijk?

[Birdy]

Staat in de printscreen: Opslag-analyser

Maar die kijkt vast alleen naar bestandsname

Ja, dubbele opzoeken.

[Matr1x]

Dit krijg je dus bij grote dubbele (duplicate) videobestanden, of als er teveel bestanden in de bronmap (source) staan:

Code: [Selecteer]

/volume1/tmp/synology-photos-auto-sort.sh: fork: Cannot allocate memory
En dit kun je oplossen, door het PID bestand te verwijderen. Dat blijft namelijk achter indien het script abnormaal beëindigd wordt:

Code: [Selecteer]

Error: an other process of the script is still running

[Briolet]

Maar die kijkt vast alleen naar bestandsnamen...

Bij mijn weten niet. Volgens mij kijkt hij naar de MD5 hash.  Als die gelijk zijn, zijn de bestanden vrij zeker identiek, ook al is de naam verschillend.

Edit:
Je laatste script vergelijkt twee files door beide files via base64 te encoden tot een tekstfile en dan beide tekstfiles te vergelijken.  Dat zijn bij plaatjes dan twee heel grote files die je steeds vergelijkt, wand de base64 file zal groter worden dan de oorspronkelijke foto.  Klinkt heel inefficiënt.  In snap niet waarom hij niet twee MD5 hashes berekend en die vergelijkt.

[Birdy]

Maar die kijkt vast alleen naar bestandsnamen...

Bij mijn weten niet. Volgens mij kijkt hij naar de MD5 hash.  Als die gelijk zijn, zijn de bestanden vrij zeker identiek, ook al is de naam verschillend.

Alleen zoeken op bestandsnamen kan.
Maar zoeken op MD5 hash ook alleen, die optie is heel erg verborgen EN je moet de zoektocht 2x uitvoeren:

[Briolet]

Alleen zoeken op bestandsnamen kan.

Het is al weer heel wat jaren geleden dat ik daar naar gekeken heb.  In elk geval is het onlogisch om duplicaten op grond van bestandsnaam te vinden. b.v. omdat er heel veel folders kunnen zijn waar het bestand "foto1" in staat, om maar een voorbeeld te noemen.

Maar wel leuk dat die optie er is. Dan kun je daarna nog handmatig uitvogelen of ze gelijk zijn. 

Edit: Ik zag dat ik ook ingesteld heb om bestandsnamen te negeren.  De dubbele files hebben ook lang niet altijd dezelfde naam.   En soms staat de file dubbel bij twee verschillende gebruikers. Dan kun je natuurlijk ook niet de file bij één gebruiker wissen. 

[Matr1x]

Het script dat ik gebruik loopt vaak vast bij grote bestanden als ze vergeleken worden of ze dubbel zijn. Dat gaat dus via base64 en wel als volgt:

Code: [Selecteer]

# Test if existing file is the same
# Get base64 encoded image
SOURCE_FILE_BASE64="$(cat ${FILE} | base64)"
TARGET_FILE_BASE64="$(cat ${TARGET_FILEPATH} | base64)"

#See if files are the same
if [[ ${SOURCE_FILE_BASE64} == ${TARGET_FILE_BASE64} ]]; then
Kan ik dit aanpassen naar MD5? Want dat gaat vast veel sneller...

Code: [Selecteer]

# Test if existing file is the same
# Get base64 encoded image
SOURCE_FILE_MD5="$(cat ${FILE} | md5)"
TARGET_FILE_MD5="$(cat ${TARGET_FILEPATH} | md5)"

#See if files are the same
if [[ ${SOURCE_FILE_MD5} == ${TARGET_FILE_MD5} ]]; then

[Briolet]

Ik heb het even getest en die MD5 syntax is correct. Dat zou dus moeten werken.

Code: [Selecteer]

FILE="/Users/briolet/Desktop/cushion.numbers"
SOURCE_FILE_MD5="$(cat ${FILE} | md5)"
echo ${SOURCE_FILE_MD5}
f57978d797dfc2e2f1a3373fd168b477

De hash is zo lang dat het nagenoeg uitgesloten is dat twee verschillende files dezelfde MD5 hash opleveren.  Alleen als je paranoia bent kun je bij twee gelijke hashes nog een extra check via de base64 test toen.

Alleen stoort me de constructie: ""$(cat ${FILE} | md5)"".  Dat moet efficiënter kunnen

[Matr1x]

Ik krijg er in het script ook een foutmelding op:

/volume1/tmp/synology-photos-auto-sort-md5.sh: line 223: md5: command not found
/volume1/tmp/synology-photos-auto-sort-md5.sh: line 224: md5: command not found

en dit staat er op 223 en 224:

Code: [Selecteer]

223: SOURCE_FILE_MD5="$(cat ${FILE} | md5)"
224: TARGET_FILE_MD5="$(cat ${TARGET_FILEPATH} | md5)"


[Birdy]

md5 command bestaat niet.

[Briolet]

Oeps.  Ik had het alleen op mijn mac getest. Ik had eigenlijk verwacht dat dit ook in linux zat. Zeker omdat MD5 ook binnen dsm gebruikt wordt.

Edit:
Ik zie wel in /bin:

Code: [Selecteer]

/bin/md5sum --help
Usage: /bin/md5sum [OPTION]... [FILE]...
Print or check MD5 (128-bit) checksums.

With no FILE, or when FILE is -, read standard input.

  -b, --binary         read in binary mode
  -c, --check          read MD5 sums from the FILEs and check them
      --tag            create a BSD-style checksum
  -t, --text           read in text mode (default)

The following four options are useful only when verifying checksums:
      --quiet          don't print OK for each successfully verified file
      --status         don't output anything, status code shows success
      --strict         exit non-zero for improperly formatted checksum lines
  -w, --warn           warn about improperly formatted checksum lines

      --help     display this help and exit
      --version  output version information and exit

The sums are computed as described in RFC 1321.  When checking, the input
should be a former output of this program.  The default mode is to print a
line with checksum, a space, a character indicating input mode ('*' for binary,
' ' for text or where binary is insignificant), and name for each FILE.

GNU coreutils online help: <http://www.gnu.org/software/coreutils/>
Full documentation at: <http://www.gnu.org/software/coreutils/md5sum>
or available locally via: info '(coreutils) md5sum invocation'

[Matr1x]

Dit commando zet alleen de filename er ook bij. En dat kan ik dus niet vergelijken.

Code: [Selecteer]

FILE="IMG_5850.JPEG"
SOURCE_FILE_MD5="$(/bin/md5sum ${FILE})
echo ${SOURCE_FILE_MD5
06e08afff504ff5b7105c66d0279872e IMG_5850.JPEG
Hoe kan ik de filename weglaten? een substring misschien?

Dit werkt bijvoorbeeld, maar kan vast makkelijker. Is is een MD5 hash altijd 32 lang?

Code: [Selecteer]

FILE="IMG_5850.JPEG"
SOURCE_FILE_MD5="$(/bin/md5sum ${FILE})
SOURCE_FILE_MD5=$(echo "${SOURCE_FILE_MD5:0:32}")
echo ${SOURCE_FILE_MD5
06e08afff504ff5b7105c66d0279872e

[Birdy]

Is is een MD5 hash altijd 32 lang?

Yep

[Matr1x]

Het aangepaste script met MD5 controle werkt en is een stuk sneller dan een base64 controle. Script loopt ook niet meer stuk nu op grote (video) bestanden.

Volgende uitdaging is het uitzoeken van foto's. Ze zijn nu netjes gesorteerd op datum/tijd, maar een groot deel kan weg. Voordeel van digitale foto's is dat je er vaak meerdere tegelijk maakt en er altijd wel een geschikte tussen zit. Nadeel is weer dat je even moet opschonen. Iemand nog tips, want met Synology Photos gaat dat veel te langzaam.

En ik kom er net achter dat Synology Photo van elke HEIC een JPG maakt. Alles dubbel dus 

[Birdy]

Maak nu maar eens een nieuw Topic, dit Topic gaat immers over Synology photos auto sort script en je hebt al een afslag gemaakt naar het zoek naar dubbelen.....