Apache Spark

스파크는 데이터 분석 및 조작 프로그램을위한 처리 속도를 향상 시키도록 설계되었다.
그것은 자바와 스칼라로 작성하고 주류도 아닌 데이터 처리 응용 프로그램이 유용하지 않은 주로하기 때문에, 다른 시스템에서는 찾아 볼 수없는 기능을 제공하고

이 릴리스의 새로운 기능 :.

코어 API는 이제 비싼 작업을 줄이고 속도를 돕기 위해 멀티 레벨 집계 나무를 지원합니다.
개선 된 오류보고 특정 잡았다 작업에 대한 지원이 추가되었습니다.
스파크의 부두 의존성은 이제 사용자 프로그램과의 충돌을 피할 수 있도록 음영 처리됩니다.
스파크는 이제 일부 통신 엔드 포인트에 대한 SSL 암호화를 지원합니다.
실시간 GC 측정 및 기록 수는 UI에 추가되었습니다.

1.3.0 버전의 새로운 기능 :

코어 API는 이제 비용 절감 작업을 가속화하기 위해 멀티 레벨 집계 나무를 지원합니다.
개선 된 오류보고 특정 잡았다 작업에 대한 지원이 추가되었습니다.
스파크의 부두 의존성은 이제 사용자 프로그램과의 충돌을 피할 수 있도록 음영 처리됩니다.
스파크는 이제 일부 통신 엔드 포인트에 대한 SSL 암호화를 지원합니다.
실시간 GC 측정 및 기록 수는 UI에 추가되었습니다.

버전 1.2.1의 새로운 기능 :

PySpark의 정렬 운영자는 지금 큰 데이터 세트에 대한 외부 유출을 지원합니다.
PySpark 이제 2GB 이내 방송 변수에 더 큰 지원과 종류 중에 외부 유출을 수행한다.
스파크는 작업 수준 진행 스파크 UI에서 페이지, 진행보고를위한 안정적인 API, 완벽한 작업과 같은 출력 측정의 동적 업데이트를 추가합니다.
스파크는 이제 이미지 및 기타 바이너리 포맷 바이너리 파일을 읽기위한 지원을하고있다.

버전 1.0.0의 새로운 기능 :

이 릴리스는 사용자가 기존의 스파크 워크 플로우에 SQL 쿼리를 통합 할 수있는 새로운 SQL 패키지 (스파크 SQL)를 도입, 스파크의 표준 라이브러리 확장한다.
MLlib, 불꽃의 기계 학습 라이브러리, 스파 스 벡터 지원 및 여러 가지 새로운 알고리즘으로 확장됩니다.

버전 0.9.1의 새로운 기능 : 외부 유출에

고정 해시 충돌 버그
다른 로깅 백엔드에 의존하는 사용자를위한 불꽃의 log4j에와 고정 충돌
Graphx이 받는다는에서 스파크 조립 항아리에서 누락 고정하는 빌드
Akka 프레임 크기를 초과하는 출력 상태를 맵핑에 고정 된 자동 고장 때문에
ASM에 제거 스파크의 불필요한 직접 의존
때문에 LGPL 라이센스 충돌 기본 빌드에서 제거 된 통계 - 신경
스파크 조립 단지를 포함하지 않는 유통 타르에 조정 버그

0.8.0 버전의 새로운 기능 :

개발 인큐베이터 프로젝트로 아파치 Sowftware 재단에 이동했습니다.

버전 0.7.3의 새로운 기능 :

파이썬 성능 : 파이썬 VM을 산란을위한 스파크의 메커니즘은 JVM이 큰 힙 크기를 가질 때 속도를 향상, 빠른 그렇게하도록 향상되었습니다 파이썬 API.
메소 수정 : 메소에 작업 결과를 역 직렬화 할 때 당신의 일에 추가 항아리 이제 클래스 경로에있을 것입니다.
오류보고 : 비 직렬화 예외 지나치게 큰 작업 결과에 대한 더 나은 오류보고.
예를 들면 : updateStateByKey와 상태 스트림 처리의 예를 추가했습니다.
빌드합니다 : 스파크 스트리밍 더 이상 중국에 구축 할 수 있도록해야한다 Twitter4J의 REPO에 따라 달라집니다.
foldByKey의 버그 수정, 스트리밍 수, 통계 방법, 문서 및 웹 UI입니다.

0.7.2 버전의 새로운 기능 :

스칼라 버전 2.9.3으로 업데이트되었습니다.
성능 수정 및 구성 가능한 스토리지 레벨을 포함 베이글에 몇 가지 개선.
새로운 API 메소드 : subtractByKey, foldByKey, mapWith, filterWith, foreachPartition, 등.
각 계산 단계에 대한 정보 수집, 인터페이스, SparkListener을보고 새로운 메트릭 : 작업 길이는 등 단행 바이트
K-수단 및 연산 PI 포함 자바 API를 사용하여 여러 가지 새로운 예제.

0.7.0 버전의 새로운 기능 :

는 0.7 PySpark라는 파이썬 API를 추가 스파크.
스파크 작업이 이제 프로그램의 각 분포 데이터 세트 (RDD)의 메모리 사용량을 모니터링하기위한 웹 대시를 시작.
스파크는 지금 SBT에 추가 메이븐을 사용하여 구축 할 수 있습니다.

0.6.1 버전의 새로운 기능 :

고정 지나치게 공격적인 메시지는 근로자가 클러스터에서 분리 될 수 있습니다 타임 아웃.
HDFS의 지역에 영향을 미치는, 스케줄러에 호스트 이름을 노출하지 않은 독립 배포 모드에서 버그가 수정되었습니다.
매우 작은 셔플 속도를 높일 수 있습니다 셔플에서 향상된 연결 재사용.
블록 관리자의 일부 잠재적 인 교착 상태를 해결했습니다.
메소에서 실패한 호스트의 ID를 얻는 버그가 수정되었습니다.
스팟 인스턴스를보다 효율적으로 처리 같은 여러 EC2 스크립트 개선.
그 불꽃은 사용자 정의에 결합 로컬 IP 주소를했다.
하둡 2 배포판을 지원합니다.
데비안 배포판에서 스칼라의 위치에 대한 지원.

0.6.0 버전의 새로운 기능 :

간단한 배포.
스파크의 문서는 새로운 퀵 스타트 가이드, 추가 배포 지침, 구성 가이드, 튜닝 가이드, 개선 Scaladoc API 문서로 확장되었습니다.
비동기 자바 NIO 사용하여 새로운 통신 관리자는 데이터 또는 경우 작업이 많은 작업이 많은 양의를 보내는 특히, 셔플 작업을 빠르게 실행할 수 있습니다.
새로운 스토리지 매니저 (등, 디스크, 직렬화, 또는 노드에 복제, 메모리에 데이터 집합을 유지하기 위해 예를 들면 여부) 당 데이터 세트 저장 수준 설정을 지원합니다.
향상된 디버깅.