S3QL

S3QL 아마존 S3뿐만 아니라 임의의 SFTP 서버를 지원하고 효율적으로 인터넷 접속이 가능한 어떤 컴퓨터에서 액세스 할 수있는 동적, 무한 용량의 하드 디스크를 제공합니다.
S3QL는 로컬 파일 시스템에서 개념적으로 구별 할 수없는 표준의 완전한 기능을 갖춘 UNIX 파일 시스템을 제공한다. 또한, S3QL는 압축, 암호화, 데이터 중복 제거, 온라인 백업 및 아카이브하기에 특히 적합합니다 불변의 나무와 스냅 샷과 같은 추가 기능을 가지고 있습니다.
S3QL은 성능과 기능 크리프를 통해 단순함과 우아함을 선호하도록 설계되었습니다. 케어가 가능한 소스 코드로 읽을 수 및 서비스하기 위해 촬영되었습니다. 솔리드 오류 감지 및 오류 처리는 첫 번째 줄에서 포함되어 있으며, S3QL는 모든 구성 요소에 대한 광범위한 자동화 된 테스트 케이스와 함께 제공하고있다.
파일 시스템을 마운트 할 수 있습니다 전에 데이터를 보유 할 백엔드가 초기화되어야한다. 이 mkfs.s3ql 명령을 수행합니다. 여기서 우리는 아마존 S3 백엔드를 사용하고 nikratio-s3ql 버킷은 파일 시스템이 저장 될 것이다 S3 버킷이다.
mkfs.s3ql S3 : // nikratio-s3ql 버킷
디렉토리을 / mnt / s3ql의 S3 버킷 nikratio_s3ql_bucket에 저장된 S3QL 파일 시스템을 마운트하려면, 다음을 입력 :
mount.s3ql S3 : // nikratio-s3ql 버킷을 / mnt / s3ql
지금 당신은 / MNT / s3ql에 백업을 실행하기 좋아하는 백업 프로그램을 지시 할 수 있으며, 데이터는 아마존 S3 저장됩니다. 작업이 완료되면, 파일 시스템을 마운트 해제되어야
umount.s3ql을 / mnt / s3ql

이 특징 :

이 투명. 개념적으로, S3QL은 로컬 파일 시스템과 구별됩니다. 예를 들어, 하드 링크, 심볼릭 링크, 전체 유닉스 권한 확장 속성을 지원하며 파일은 최대 2TB 크기.
동적 크기. S3QL 파일 시스템의 크기가 커지고 필요한 동적 수축.
압축. 저장하기 전에 모든 데이터는 LZMA, BZIP2 또는 LZ 알고리즘으로 압축 할 수 있습니다.
암호화. 압축 후의 (그러나 업로드하기 전에), 모든 데이터는 256 비트의 AES 키를 사용하여 암호화 할 수있다. 추가 SHA256 HMAC 체크섬이 조작에 대한 데이터를 보호하는 데 사용됩니다.
데이터 중복 제거. 여러 개의 파일이 동일한 내용이있는 경우, 중복 데이터는 한 번만 저장됩니다. 다른 부분은 다르지만 이는 파일 시스템에 저장된 파일에서 작동, 파일의 일부 부분과 동일한 경우도있다.
불변의 나무입니다. 그 내용은 더 이상 어떠한 방식으로 변경 될 수 없도록 디렉토리 트리가 불변 할 수있다. 이것은 그들이 한 다음에 백업 수정 될 수 없다는 것을 보장하기 위해 사용될 수있다.
쓰기시 복사 / 스냅 샷 생성. S3QL는 추가 저장 공간을 사용하지 않고 전체 디렉토리 트리를 복제 할 수 있습니다. 만 복사본 중 하나가 변경되는 경우, 추가 저장 공간을 차지합니다 수정 된 데이터의 일부입니다. 이것은 최소한의 공간을 사용하는 다른 시점 디렉토리의 상태를 유지 지능형 스냅 샷을 생성 할 수있다.
네트워크 대기 시간의 고성능 독립. 그들이 어떤 네트워크 트랜잭션없이 수행되기 때문에 작성하거나 (디렉토리를 만들거나 이동, 이름 변경, 파일 및 디렉토리의 권한 변경 등) 파일의 내용을 읽을하지 않는 모든 작업은 매우 빠르다.
S3QL는 데이터베이스에서 전체 파일 및 디렉토리 구조를 저장하여이 기능을 수행 할 수 있습니다. 이 데이터베이스는 로컬 캐시 및 원격 복사는 비동기적인 갱신.
낮은 대역폭 연결을 지원합니다. S3QL 로컬 작은 블록과 블록을 캐시에 파일 내용을 분할합니다. 이것은 데이터를 판독 및 기록하기 위해 필요한 네트워크 트랜잭션의 수 및 파일의 일부만 읽거나 쓸 때 전송되는 데이터 양을 모두 최소화한다.

이 릴리스의 새로운 기능입니다 :

이 더 이상 로컬 메타 데이터를 사용할 수 없게 복사 렌더링 최신 버전에서 이미없는 파일 시스템을 업그레이드하려고 시도합니다.
도트 함유 구글 스토리지 버킷 이름은 더이상 SSL 인증서 유효성 검사에 문제가 발생할 수 없다.
에서 statvfs ()가 거의 빈 파일 시스템에서 호출 충돌을 해결합니다.
swiftks & quot; 새로운 & quot가있다; OpenStack은 / 스위프트 서버 백엔드.
컬렉션 / abc.py & quot ;.에 KeyError를; & quot와 충돌 mount.s3ql으로 이어질 수있는 경쟁 조건을 제거
객체를 업로드 할 때 연결 또는 서버 오류를받은 후 정리하려고 할 때 발생할 수있는 충돌을 해결합니다.

이 버전 2.2의 새로운 기능 :

는 S3QL 이제 기본적으로 SSL 연결을 사용하여 서버 인증서를 확인합니다.
원격 메타 데이터의 명백한 손실의 결과 경쟁 조건이 수정되었습니다.
S3 백엔드 지금 대기 시간, 트래픽 및 S3에 대한 요청의 수를 줄이고, 하나의 요청 가능하면 사용하여 여러 스토리지 객체를 삭제합니다.
S3QL 이제 서버로 전송 된 모든 데이터 전에 서버 오류 및 재 지정을 감지 할 수 있습니다.
스토리지 내의 URL 객체 저장 영역의 지정을 할 수있는 새로운 '랙 스페이스'백엔드 첨가 하였다.
mount.s3ql --compress 옵션은 이제 압축 수준의 사양을 수 있습니다.

버전 1.15의 새로운 기능 : 메타 데이터 백업의

사이클링 지역 백엔드를 사용하는 경우 훨씬 시간이 적게 걸립니다.
그것은 더 이상 S3QL 파이썬 APSW가 같은 SQLite는 공유 라이브러리에 연결하는 것이 필요하지 않습니다.
mount.s3ql에서 충돌 사용 --metadata 업로드를 간격 0 고정되었을 때.
대신 완전히 파일 시스템을 마운트 해제 (접근 할 수없는 마운트 지점을 떠나) 백엔드 데이터가 누락 또는 손상된 경우에, S3QL 이제 오류를 반환하고 읽기 전용 작업으로 전환됩니다.

버전 1.13의 새로운 기능 :

이 버전은 최근 eglibc 버전을 사용하는 경우 잘못된 메타 데이터가 기록되는 원인이 버그가 수정되었습니다.
최근 s3qlrm 제거 된 파일 시스템의 루트 디렉토리에 액세스하려고 할 때이 문제를 해결합니다.
표면적 ACL 지원이 제거되었습니다.
이것은 잘못된 DNS 이름을 가진 더 나은 핸들 버킷을 놓습니다.
DNS를 사용할 수없는 경우는 다시 시도합니다.

이 버전 1.11.1의 새로운 기능 :

이 S3 백엔드 (버전 1.11에서 소개 회귀)를 사용할 때이 버전은 1 TB의 최소보고 파일 시스템의 크기를 증가 충돌을 해결합니다 크기가 제대로보고되도록하고, 안양 버그를 해결 작동합니다.

버전 1.11의 새로운 기능 :

이 메타 데이터에 대한 저장 개체가 지금 더 필드 이상 256 바이트보다하지, 여러 필드로 분할됩니다. (이. 스토리지 제공 업체의 넓은 범위와 S3QL 호환한다)는 원격 서버에서 5xx의 오류 코드를 수신하지 않으며, 만기 정식 토큰을 사용하여 데이터를 업로드 할 때 더 이상 실패 할 경우 SWIFT 백엔드는 이제 시도합니다.

버전 1.10의 새로운 기능 :

이 s3s, s3cs 및 GSS 백엔드 제거되었습니다. 대신 S3, S3C 및 GS 백엔드와 함께 새로운 --ssl 옵션을 사용합니다.
S3QL 더 이상 다른 백엔드에 대한 일관성 보장을 추적하지 않습니다.
다른 지역, 중복성 및 가용성 수준을 제공하는 다른 스토리지 업체의 증가는이 더 이상 가능하지 않습니다.
데이터 & quot 손실을 방지하려면 중요 규칙 ;., 사용 설명서는 새로운 섹션, & quot을 포함
그것을 읽기가 좋습니다.

이 어떤 버전 1.9에서 새로운 것은

이 버전은 수정 시스템 시간대를 변경하는 경우 파일 시간이 더 이상 변경할 수와 contrib / benchmark.p을 향상, & quot 해결, 너무을 체인 리디렉션 & quot 많은; 버그, 5xx의 서버 오류를 시도하고, OpenStack은 / SWIFT 서버 및 실험 프록시 지원을위한 실험 네이티브 지원을 추가합니다.

이 버전 1.8의 새로운 기능 :

A & quot;은 ValueError : NULL 값 & quot를 덤프 할 수 없습니다; 파일 시스템 메타 데이터가 파일 시스템 작동이 업로드 된 충돌이 해결되었습니다.
매우 큰 디렉토리에 대한 성능을 나열 s3qlcp 및 디렉토리가 개선되었다.
RM은 성능 저하가 수정되었습니다.
--blocksize은 --max-OBJ 크기를하기 위해 이름이 바뀌 었습니다.
크게 동시 파일 시스템 사용 중에 일어난 일부 충돌이 해결되었습니다.
파이썬 llfuse 0.37 이제 사용됩니다.

이 제한 사항 :

이이 버그가 많은 코드에서 여전히 당신이 그들과 거래를 할 준비가되어 있어야합니다. 그럼에도 불구하고, 당신은 버그 (불편하지만) 저장된 데이터를 위험하게하지 않도록 합리적으로 확신 할 수 있습니다.