Apache Hive

아파치 하이브 먼저 자신의 데이터에 대한, 실력 쿼리 언어를 사용하기 쉬운 하둡 관리자를 제공하는 아파치 하둡의 서브 프로젝트로 개발되었다.
이 때문에, 하이브는 각 쿼리에 대한 정보의 엄청난 양의 작업을 처음부터 개발되었으며 완벽하게 큰 규모의 데이터베이스 및 비즈니스 환경에 적합하다.
맞춤형 데이터 구조, 데이터 포맷의 다양한 세트에 강제 할 수 있지만 도구는 용이하게 추출 및로드 데이터 변환을 위해 포함된다.
이 하둡 관련 프로젝트이기 때문에 HDFS와 HBase를 프로젝트는 자동으로 지원됩니다.
HiveQL 또한 네이티브 SQL 구문이 원하는 데이터를 얻을 수있는 상황에서 매퍼 및 감속기를 처리 할 수​​있는 반면, 간단하고 혁신적이고 효율적인 쿼리 언어를 제공, 아마이 프로젝트의 가장 중요한 부분입니다.

이 릴리스의 새로운 기능 :

WHERE 절에 상관 서브 쿼리를 지원
NULL이 형식 사양을 행에 사용자로 정의 추가
Ccreate / 드롭 데이터베이스 입력 / 출력을 채우고 동시성 및 사용자 권한을 확인해야합니다
하이브 진수 형식으로 지원 지정 규모와 정밀도
TEZ이 있으라
배열에서 항목의 위치를​​ 포함 폭발 기능
문자 데이터 유형을 추가
만들기 UDF를 수집하고 평가자의 재사용을
통계를 제공하는 레코드 기록기 및 ORC / 판독기 인터페이스를 확장
ORC의 작가와 독자 인터페이스를 제공하는 통계를 구현
metastore에서 통계 하이브 운영자 트리를 주석
ORC의 스트라이프 수준의 열 통계를 제공
하위 쿼리 지원 : 서브 쿼리의 중첩을 허용
하위 쿼리 지원 : HAVING 절에 서브 쿼리 식을 수
하위 쿼리 지원 : 더 많은 테스트
하이브의 기본 마루 지원
하이브는 테이블에 대한 데이터 파일을 읽을 때 머리글과 바닥 글 행을 건너 뛸 수 있어야한다
DATE, TIMESTAMP 진수를 추가, CHAR, VARCHAR 유형은 HCat에 지원
중간 결과를 캐시지도 조인 힌트를 사용하여
UDF는 지리적 좌표 사이의 거리를 계산에 추가

버전 1.2.0의 새로운 기능 :

WHERE 절에 상관 서브 쿼리를 지원
NULL이 형식 사양을 행에 사용자로 정의 추가
Ccreate / 드롭 데이터베이스 입력 / 출력을 채우고 동시성 및 사용자 권한을 확인해야합니다
하이브 진수 형식으로 지원 지정 규모와 정밀도
TEZ이 있으라
배열에서 항목의 위치를​​ 포함 폭발 기능
문자 데이터 유형을 추가
만들기 UDF를 수집하고 평가자의 재사용을
통계를 제공하는 레코드 기록기 및 ORC / 판독기 인터페이스를 확장
ORC의 작가와 독자 인터페이스를 제공하는 통계를 구현
metastore에서 통계 하이브 운영자 트리를 주석
ORC의 스트라이프 수준의 열 통계를 제공
하위 쿼리 지원 : 서브 쿼리의 중첩을 허용
하위 쿼리 지원 : HAVING 절에 서브 쿼리 식을 수
하위 쿼리 지원 : 더 많은 테스트
하이브의 기본 마루 지원
하이브는 테이블에 대한 데이터 파일을 읽을 때 머리글과 바닥 글 행을 건너 뛸 수 있어야한다
DATE, TIMESTAMP 진수를 추가, CHAR, VARCHAR 유형은 HCat에 지원
중간 결과를 캐시지도 조인 힌트를 사용하여
UDF는 지리적 좌표 사이의 거리를 계산에 추가

1.1.0 버전의 새로운 기능 :

WHERE 절에 상관 서브 쿼리를 지원
NULL이 형식 사양을 행에 사용자로 정의 추가
Ccreate / 드롭 데이터베이스 입력 / 출력을 채우고 동시성 및 사용자 권한을 확인해야합니다
하이브 진수 형식으로 지원 지정 규모와 정밀도
TEZ이 있으라
배열에서 항목의 위치를​​ 포함 폭발 기능
문자 데이터 유형을 추가
만들기 UDF를 수집하고 평가자의 재사용을
통계를 제공하는 레코드 기록기 및 ORC / 판독기 인터페이스를 확장
ORC의 작가와 독자 인터페이스를 제공하는 통계를 구현
metastore에서 통계 하이브 운영자 트리를 주석
ORC의 스트라이프 수준의 열 통계를 제공
하위 쿼리 지원 : 서브 쿼리의 중첩을 허용
하위 쿼리 지원 : HAVING 절에 서브 쿼리 식을 수
하위 쿼리 지원 : 더 많은 테스트
하이브의 기본 마루 지원
하이브는 테이블에 대한 데이터 파일을 읽을 때 머리글과 바닥 글 행을 건너 뛸 수 있어야한다
DATE, TIMESTAMP 진수를 추가, CHAR, VARCHAR 유형은 HCat에 지원
중간 결과를 캐시지도 조인 힌트를 사용하여
UDF는 지리적 좌표 사이의 거리를 계산에 추가

버전 1.0.0의 새로운 기능 :

WHERE 절에 상관 서브 쿼리를 지원
NULL이 형식 사양을 행에 사용자로 정의 추가
Ccreate / 드롭 데이터베이스 입력 / 출력을 채우고 동시성 및 사용자 권한을 확인해야합니다
하이브 진수 형식으로 지원 지정 규모와 정밀도
TEZ이 있으라
배열에서 항목의 위치를​​ 포함 폭발 기능
문자 데이터 유형을 추가
만들기 UDF를 수집하고 평가자의 재사용을
통계를 제공하는 레코드 기록기 및 ORC / 판독기 인터페이스를 확장
ORC의 작가와 독자 인터페이스를 제공하는 통계를 구현
metastore에서 통계 하이브 운영자 트리를 주석
ORC의 스트라이프 수준의 열 통계를 제공
하위 쿼리 지원 : 서브 쿼리의 중첩을 허용
하위 쿼리 지원 : HAVING 절에 서브 쿼리 식을 수
하위 쿼리 지원 : 더 많은 테스트
하이브의 기본 마루 지원
하이브는 테이블에 대한 데이터 파일을 읽을 때 머리글과 바닥 글 행을 건너 뛸 수 있어야한다
DATE, TIMESTAMP 진수를 추가, CHAR, VARCHAR 유형은 HCat에 지원
중간 결과를 캐시지도 조인 힌트를 사용하여
UDF는 지리적 좌표 사이의 거리를 계산에 추가

버전 0.8.1의 새로운 기능 :

도구 /로드 (ETL)을 변환 / 쉬운 데이터 추출을 가능하게 할 수 있습니다.
메커니즘은 데이터 형식의 다양한 구조를 부과.
파일에 대한 액세스가 직접 아파치 HDFS (TM) 또는 아파치 HBase를 (TM)와 같은 다른 데이터 저장 시스템에 저장된 하나.
맵리 듀스를 통해 쿼리 실행.
(ETL) / 부하를 변환 / 쉬운 데이터 추출을 가능하게

도구

버전 0.8.0의 새로운 기능
메커니즘은 데이터 형식의 다양한 구조를 부과
직접 아파치 HDFS (TM) 또는 아파치 HBase와 같은 다른 데이터 저장 시스템에 저장된 파일에 액세스 (TM)
맵리 듀스를 통해 쿼리 실행

버그

버전 0.7.1의 새로운 기능 :
창에 예외는 JDBC 드라이버를 사용하는 경우. & quot; IOException이 : 지정된 경로를 찾을 수 없습니다 시스템이란 ;.
그들은 DataNucleus에 특정 테이블을두고 있기 때문에 스키마 작성 스크립트가 완전하지 않습니다.
개선 :
기타 오류 메시지를 향상시킬 수 있습니다.
JDBC 하이브 드라이버에 대한 올바른 메이저 / 마이너 버전 번호를 돌려줍니다.
현재 HIVE 지원되는 데이터 유형에 따라 HivePreparedStatement 구현을 추가합니다.
작업 :
메이븐에서 하이브.
Metastore는 PostgreSQL을위한 스크립트 및 기본 스키마를 업그레이드 제공합니다.

버전 0.7.0의 새로운 기능 :

새로운 기능 :
하이브에 대한 권한 부여 인프라
하이브에서 인덱싱 구현
Java 메소드의 반사 호출을위한) (UDF를 반영 추가
하이브 소속 카테고리 / ObjectInspector 노조를 지원하기 위해 (구조체, 배열 및지도 외에)
GenericUDF의 str_to_map 구현
패치 하이브에 HAVING 절 지원
자동 매핑 조인으로 변환되고있는 조인 추적
JMX를 통해 HiveMetaStore에 대한 호출 빈도와 지속 시간 측정
metastore에 lastAccessTime 유지
개선 :
헤더를 내보낼 수있는 옵션을 제공합니다
두 개 이상의 열에서 별개의 선택에 대한 지원
확장 테이블을 설명 / 파티션 출력은 애매하다
열 이름을 기반으로의 getTables, getColumns를하고 HiveResultSet.get * 방법과 같은 몇 가지 JDBC 기능을 누락.
자식 프로세스의 로그를 누르면
비 네이티브 테이블에 대한 지원 필터 푸시 다운
HBase를 사용되지 않는 API에 종속 교체
잠금 상태 queryID를 추가
업데이트 transident_lastDdlTime는 지정되지 않은 경우
하이브 잠금에 대한 자세한 디버그 정보를 추가
HiveInputFormat 또는 CombineHiveInputFormat는 항상 두 번 RCFile 블록을 동기화
로컬 작업에 걸리는 시간을 표시
새로운 사육사 인스턴스를 만들 때 재 시도 잠금 및 디버깅에 대한 더 많은 정보
확인 작업을 실행할 수있는 옵션을 추가 로컬이 아닌 모드에서 가능성을지도를 조인
잠금에 대한 더 많은 디버깅
0 파티션을 생성하는 경우 오류가 발생하는 동적 파티션 삽입에서 옵션을 추가
버그 :
& quot; LOAD 데이터 현지 INPATH & quot; 테이블이 이미 같은 이름의 파일이 포함 된 경우 실패
NULL을 올바르게 처리에 참여하지 않습니다
HiveInputFormat.getInputFormatFromCache 및 용어는 제비 & quot; 원인 예외 IOExcpetion를 던지고
가입 GROUPBY에서 진행 추가
빈 행 쿼리에 1 개 이상의 매개 변수 충돌 간단한 UDAFs
UDF 필드 () 작동하지 않습니다
동적 파티션 인서트는 하둡 0.17 로컬 모드에서 세척되지 않은 빈 파일을 왼쪽
RunningJob.getCounters ()가 null을 반환 할 때 카운터 업데이트를 건너 뛰기

버전 0.5.0의 새로운 기능 :

사용자가 사용자 정의 스크립트 serde을 지정할 수 있습니다.
UDF의 unhex를 추가합니다.
FileSinkOperator에서 lzocodec 가져 오기를 제거합니다.
드라이버 NullPointerException가 먼저 컴파일하지 않고 getResults를 호출 할 때.
하이브에서 RCFile 및 ColumnarSerDe에 대한 성능 개선.