DedupeCopy

DedupeCopy er en simpel multi-threaded filkopiering værktøj designet til konsolidering og omstrukturering sprællende filsystemer.
Den mest almindelige brug sag er til sikkerhedskopiering af data i et nyt layout, ignorerer duplikerede filer.
Andre anvendelser omfatter:
& Nbsp; 1. Kom godt i en .csv-fil, der beskriver alle duplikerede filer
& Nbsp; 2. Sammenligning af forskellige filsystemer
& Nbsp; 3. Omstrukturering eksisterende sæt af filer i forskellige layouts (f.eks sorteret efter udvidelse eller seneste ændring tid)
Dette værktøj er * IKKE * en Robocopy eller rsync udskiftning og forsøger ikke at udfylde rollen dem spille.
Som med al kode, der går en fil træ, skal du bruge med forsigtighed og forventer absolut ingen garanti!
Command eksempler:
& Nbsp; Generer en dublet fil rapport til en sti:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p / Users / -r dupes.csv -m manifest
& Nbsp; Kopier alle * .jpg-filer fra flere veje til en /YYYY_MM/*.jpg struktur
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p C: pics -p D: pics -e jpg -R jpg: mtime -c X: pics
& Nbsp; Kopier alle filer fra to drev til et enkelt mål, bevare stien til
& Nbsp; alle udvidelser:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p C: -p D: -c X: -m X: åbenbart -R *: no_change
& Nbsp; Genoptage en afbrudt run (forudsat "-m manifest" i tidligere løb):
& Nbsp; & nbsp; & nbsp; dedupe_copy.py -p / Users / -r dupes_2.csv -i åbenbart -m manifest
Sekventielt kopiere forskellige kilder i det samme mål, ikke at kopiere duplikerede filer (2 kilder og 1 mål):
& Nbsp; & nbsp; & nbsp; 1.) Første rekord manifesterer for alle enheder
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ target share -m target_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source1 share -m source1_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ kilde2 share -m source2_manifest
& Nbsp; & nbsp; & nbsp; 2.) Kopier hver kilde til målet (angivelse --compare så manifester fra
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; andre kilder er indlæst, men ikke som en del af sættet til at kopiere og
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --no-walk at springe igen scanning af kilden):
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source1 share -c \ target share -i source1_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source2_manifest --compare target_manifest & nbsp; --no-walk
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ kilde2 share -c \ target share -i source2_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source1_manifest --compare target_manifest --no-walk
Komplet eksempel:
& Nbsp; & nbsp; & nbsp;
& Nbsp; & nbsp; & nbsp; Forudsat, at du starter med et sæt filer, der er som følger:
& Nbsp; & nbsp; & nbsp; C:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; pics
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; some_photos
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo1.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; D:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; pics
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; copied_photo
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
& Nbsp; & nbsp; & nbsp; Og du køre kommandoen:
& Nbsp; & nbsp; & nbsp; > Dedupe_copy.py -p C: pics -p D: pics -e jpg -R jpg: mtime -c X: billeder
Du ville ende op med følgende (photo3.jpg var en sand to eksemplarer):
& Nbsp; & nbsp; & nbsp; X:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; billeder
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_08
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo1.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_09
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
Dette projekt er på bitbucket: http://www.bitbucket.org/othererik/dedupe_copy

Requirements:

• Python