Apache Hadoop

아파치 하둡 초기에 야후에 의해 개발 된 프로젝트가 이전 아파치 하둡 코어와 아파치 하둡 공통의 repos 사이의 조합입니다.

하둡 프로젝트는 엄청난 양의 데이터를 처리하기위한 다중 서버 분산 컴퓨팅 시스템을 구현에 가장 큰 결과로 악명 덕분에 많이 얻고있다.

프로젝트 자체는 실제로 네 부분으로 이루어진다. 하나는 하둡 일반, 다른 모든 모듈이 작동 할 수 있도록 소위 코어, 두 번째는 자신의 파일 시스템입니다 - HDFS (하둡 분산 파일 시스템), 세 번째는 하둡 YARN 스케줄링 프레임 워크, 그리고 마지막으로 하둡 맵리 듀스 시스템이있다 병렬 컴퓨팅을 지원합니다.

이 획기적인 시스템을 사용하여 아파치가 같은 많은 다른 측면의 프로젝트를 만들 수있게되었다 :

- 아파치 Ambari

- 아파치 아 브로

- 아파치 카산드라

- 아파치 HBase

- 아파치 하이브

- 아파치 두싯

- 아파치 돼지

- 아파치 스파크

- 아파치 TEZ

- 아파치 사육사

이들의 모든 핵심의 방법은 하나 또는 다른에서의 모듈 중 하나를 통합, 하둡의 강력한 데이터 처리 엔진 또는 분산 컴퓨팅 기능에 의존하고있다.

이 릴리스의 새로운 기능입니다 무엇

아카이브 스토리지 지원
나머지 암호화에 투명 데이터 (베타)
루트 액세스를 필요로하지 않고 안전한 데이터 노드를 작동
핫 스왑 드라이브 : 지원 (베타) 데이터 노드를 다시 시작하지 않고 데이터 노드 볼륨을 추가 / 제거
빠른 와이어 암호화를위한 AES 지원
원사 긴 실행중인 서비스 지원
일정 기간 동안 지원 노드 레이블
용량 스케줄러 시간 기반 자원 예약 (베타)에 대한 지원
응용 프로그램 아티팩트 글로벌, 공유 캐시 (베타)
기본적으로 도커 컨테이너 응용 프로그램의 지원 실행 (알파)

이 버전 2.7.1의 새로운 기능입니다 : 보관 저장을위한

지원
나머지 암호화에 투명 데이터 (베타)
루트 액세스를 필요로하지 않고 안전한 데이터 노드를 작동
핫 스왑 드라이브 : 지원 (베타) 데이터 노드를 다시 시작하지 않고 데이터 노드 볼륨을 추가 / 제거
빠른 와이어 암호화를위한 AES 지원
원사 긴 실행중인 서비스 지원
일정 기간 동안 지원 노드 레이블
용량 스케줄러 시간 기반 자원 예약 (베타)에 대한 지원
응용 프로그램 아티팩트 글로벌, 공유 캐시 (베타)
기본적으로 도커 컨테이너 응용 프로그램의 지원 실행 (알파)

이 버전 2.7.0의 새로운 기능입니다 : 보관 저장을위한

지원
나머지 암호화에 투명 데이터 (베타)
루트 액세스를 필요로하지 않고 안전한 데이터 노드를 작동
핫 스왑 드라이브 : 지원 (베타) 데이터 노드를 다시 시작하지 않고 데이터 노드 볼륨을 추가 / 제거
빠른 와이어 암호화를위한 AES 지원
원사 긴 실행중인 서비스 지원
일정 기간 동안 지원 노드 레이블
용량 스케줄러 시간 기반 자원 예약 (베타)에 대한 지원
응용 프로그램 아티팩트 글로벌, 공유 캐시 (베타)
기본적으로 도커 컨테이너 응용 프로그램의 지원 실행 (알파)

이 버전 2.6.0의 새로운 기능입니다 : 보관 저장을위한

지원
나머지 암호화에 투명 데이터 (베타)
루트 액세스를 필요로하지 않고 안전한 데이터 노드를 작동
핫 스왑 드라이브 : 지원 (베타) 데이터 노드를 다시 시작하지 않고 데이터 노드 볼륨을 추가 / 제거
빠른 와이어 암호화를위한 AES 지원
원사 긴 실행중인 서비스 지원
일정 기간 동안 지원 노드 레이블
용량 스케줄러 시간 기반 자원 예약 (베타)에 대한 지원
응용 프로그램 아티팩트 글로벌, 공유 캐시 (베타)
기본적으로 도커 컨테이너 응용 프로그램의 지원 실행 (알파)

이 버전 2.5.0의 새로운 기능입니다 :

이 인증 개선 HTTP 프록시 서버를 사용하는 경우.
흑연에 직접 기록 할 수있는 새로운 하둡 통계 싱크.
하둡 지원되는 파일 시스템의 노력에 대한 규정.
POSIX 스타일의 파일 시스템에 대한 지원은 속성을 확장했다.
OfflineImageViewer는 WebHDFS API를 통해 fsimage을 찾습니다.
NFS 게이트웨이 지원 성 개선 및 버그 수정.
HDFS 데몬에 대한 현대화 웹 사용자 인터페이스 (HTML5와 자바 스크립트).
원사의 REST API를 지원 제출 및 응용 프로그램을 죽이는.
YARN의 타임 라인 저장소에 대한 Kerberos 통합.

이 버전 2.4.0의 새로운 기능 : 액세스 제어

이 지원 HDFS에 나열
HDFS에서 롤링 업그레이드에 대한 기본 지원
부드러운 동작 업그레이드를위한 HDFS FSImage에 대한 프로토콜 버퍼의 사용법
HDFS에서 전체 HTTPS 지원
YARN ResourceManager에 자동 장애 복구 지원
응용 프로그램의 역사 서버 및 응용 프로그램 타임 서버와 원사에 새로운 응용 프로그램에 대한 향상된 지원
선점을 통해 원사 CapacityScheduler 강한 SLA를 지원

이 버전 2.3.0의 새로운 기능입니다 :

이 HDFS에서 이기종 스토리지 계층을 지원합니다.
중앙 집중식 관리 및 관리와 HDFS 데이터를 메모리 내 캐시.
YARN 분산 캐시에 HDFS를 통해 맵리 듀스 바이너리 배포를 단순화.

이 어떤 버전 2.2.0의 새로운 기능입니다 :

이 원사 - 맵리 듀스 및 기타 다른 데이터 처리 프레임 워크와 서비스를 허용하는 하둡을위한 범용 자원 관리 시스템
HDFS를위한 고 가용성
HDFS 연맹
HDFS 스냅 샷
HDFS 데이터에 NFSv3에 액세스

이 버전 2.1.0 베타의 새로운 기능입니다 :

이 HDFS 스냅 샷
마이크로 소프트 윈도우에서 하둡 실행을위한 지원
원사의 API 안정화

이 버전 2.0.3 - 알파의 새로운 기능입니다 : 네임 노드에 대한 HDFS HA​​에 대한

이 QJM
다중 리소스 예약 원사에 대한 (CPU 및 메모리)
원사 ResourceManager에 다시 시작
원사에 대한 규모에서 상당한 안정성 (30,000 노드와 1400 만 응용 프로그램 지금까지 릴리스시)

이 버전 1.0.0의 새로운 기능입니다 :

이 더 나은 보안을 제공합니다.
HBase를 (추가 / hsynch / hflush 및 보안).
webhdfs (보안을 완벽하게 지원).
성능 HBase를 로컬 파일에 대한 액세스를 강화.
기타 성능 향상, 버그 수정 및 기능.

이 버전 0.20.2의 새로운 기능입니다 :

이 RPC 서버 전송 버퍼는 최대 응답의 크기가 지금까지 보낸 유지합니다.
C ++ 라이브러리는 데비안 레니 구축하지 않습니다.
일부 C ++ 스크립트는 개미 실행 전에 chmodded되지 않습니다.
스트리밍 : 프로세스를 제공하는 상태 메시지는 매 10 seoncds 덮어 씁니다.
CombineFileInputFormat이 작업 InputFormat로 사용된다 IllegalArgumentException가.
하둡 아카이브 / w 여러 버그.
허용 파일 시스템 인스턴스의 캐싱 인스턴스 당 기준으로 비활성화 할 수 있습니다.
Configuration.addResource에서 defaultResources에 대한 동기화가 없습니다.
GzipCodec는 decompressorType로 BuiltInZlibInflater을 나타내지한다.
네임 노드의 HttpServer에이 InetSocketAddress을 인스턴스화 할 수 없습니다 : IllegalArgumentException가 슬로우됩니다.
HttpServer에 음수 값을 잔다.
네임 노드로 인해 IPC 서버에서 메모리 누수에 메모리 부족으로 실행됩니다.
IPC 클라이언트 버그 RPC 호출이 중단 될 수 있습니다.
실패한 테스트 실행에서 검사 대상의 나머지를 방지한다.
있는 contrib 테스트는 Clover'ed 빌드를 실패하고 있습니다.
시험은 0.20 분기에 실행되지 않습니다.
TestStreamingStatus는 0.20 나뭇 가지에 실패합니다.