DedupeCopy

DedupeCopy는 통합하고 거대한 파일 시스템의 구조 조정을 위해 설계된 간단한 멀티 스레드 파일 복사 도구입니다.
가장 일반적인 사용 사례, 새로운 레이아웃에 데이터를 백업 중복 파일을 무시입니다.
다른 용도는 다음과 같습니다 :
& NBSP; 1. 모든 중복 된 파일을 설명하는 .csv 파일을 가져 오기
& NBSP; 2. 다른 파일 시스템 비교
& NBSP; 3. (예 : 확장 또는 최종 수정 시간으로 분류로) 다른 레이아웃에 파일의 기존 세트를 구조 조정
이 도구는 * NOT *있는 Robocopy 또는 rsync를 교체하고 역할에 그 놀이를 채우기 위해 시도하지 않습니다.
파일 트리를 산책 모든 코드와 마찬가지로주의해서 사용하고 절대적으로 어떠한 보증도 기대하시기 바랍니다!
명령 예 :
& NBSP; 경로에 대한 중복 된 파일 보고서를 생성합니다 :
& NBSP; & NBSP; & NBSP; & nbsp; & nbsp; 확인 dedupe_copy.py -p / 사용자 / -r dupes.csv -m 매니페스트
& NBSP; /YYYY_MM/*.jpg 구조에 여러 경로에서 모든 * .JPG 파일을 복사
& NBSP; & NBSP; & NBSP; & nbsp; & nbsp; 확인 dedupe_copy.py -p의 C : 사진 -p D : 사진 -e JPG -R JPG : mtime에 -c X : 사진
& NBSP; 경로를 보존, 하나의 대상에 두 개의 드라이브의 모든 파일을 복사
& NBSP; 모든 확장 :
& NBSP; & NBSP; & NBSP; & nbsp; & nbsp; 확인 dedupe_copy.py -p의 C : -p D : -c X : -m X : 매니페스트 -R * : no_change
& NBSP; (이전에 실행에 사용되는 "-m 매니페스트"가정) 중단 실행을 다시 시작합니다 :
& NBSP; & nbsp; & nbsp; 확인 dedupe_copy.py -p / 사용자 / -r dupes_2.csv -i 매니페스트 -m 매니페스트
순차적으로 중복 파일 (2 소스 1 대상)를 복사하지 않고, 동일한 대상에 서로 다른 소스를 복사 :
& NBSP; & nbsp; & nbsp; 확인 1) 첫 번째 기록은 모든 장치에 대해 명단
& NBSP; & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 dedupe_copy.py -p \ 대상 공유 -m target_manifest
& NBSP; & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 dedupe_copy.py -p \ 소스 1 공유 -m의 source1_manifest
& NBSP; & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 dedupe_copy.py -p \ 소스 2 공유 -m의 source2_manifest
& NBSP; & nbsp; & nbsp; 확인 2.)에서 그렇게 --compare 적하 목록을 지정 (대상 각 소스를 복사
& NBSP; & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 다른 소스가로드하지만 복사 세트의 일부로 사용되지 않고
& NBSP; & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 --no-도보) 소스의 재 검사를 건너 뛸 수 :
& NBSP; & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 dedupe_copy.py -p \ 소스 1 공유 -c \ 대상 공유 -i source1_manifest
& NBSP; & NBSP; & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 --compare source2_manifest --compare target_manifest & NBSP; --no-거리
& NBSP; & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 dedupe_copy.py -p \ 소스 2 공유 -c \ 대상 공유 -i source2_manifest
& NBSP; & NBSP; & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 --compare source1_manifest --compare target_manifest --no-거리
전체 예제 :
& NBSP; & nbsp; & nbsp; 확인
& NBSP; & nbsp; & nbsp; 확인 다음과 같이 배치 파일 세트로 시작 가정 :
& NBSP; & nbsp; & nbsp; 확인 C :
& NBSP; & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 사진
& NBSP; & NBSP; & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 some_photos
& NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 photo1.jpg
& NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 photo2.jpg
& NBSP; & NBSP; & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 photo3.jpg
& NBSP; & nbsp; & nbsp; 확인 D :
& NBSP; & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 사진
& NBSP; & NBSP; & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 copied_photo
& NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 photo3.jpg
& NBSP; & NBSP; & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 photo4.jpg
& NBSP; & nbsp; & nbsp; 확인 그리고 당신은 명령을 실행합니다 :
& NBSP; & nbsp; & nbsp; 확인 > dedupe_copy.py의 -p의 C : 사진 -p D : 사진 -e JPG -R JPG : mtime에 -c X : 사진
당신은 다음 (photo3.jpg 진정한 중복이었다)로 끝날 것이다 :
& NBSP; & nbsp; & nbsp; 확인 X :
& NBSP; & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 사진
& NBSP; & NBSP; & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 2012_08
& NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 photo1.jpg
& NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 photo2.jpg
& NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 photo3.jpg
& NBSP; & NBSP; & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 2012_09
& NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 & NBSP; & nbsp; & nbsp; 확인 photo4.jpg
이 프로젝트의 bitbucket에 : http://www.bitbucket.org/othererik/dedupe_copy

Requirements:

Python