Hadoopy

그것은 기본적으로 Cython 작성 맵리 듀스를위한 파이썬 라이브러리입니다

특징 :.

하둡 API와 유사한 인터페이스 (파이썬 / 자바 인터페이스와 사용 가능한 디자인 패턴)
덤보와 일반 호환성은 사용자가 앞뒤로 전환 할 수 있도록
파이썬 또는 관리자 액세스없이 하둡 클러스터에 사용 가능
빠른 변환 및 처리
그대로 작고 잘 문서화
무슨 일이 일어나고 있는지에 투명하게
복잡한 .so는의,하는 ctypes 및 확장자를 가진 프로그램을 처리
코드는 해킹-능력을 작성
간단한 HDFS 액세스 (예를 들어, 읽기, 쓰기, LS)
지원 큰 하둡 에코 시스템 (및 복제되지 않음) (예를 들어, Oozie, 씽하는 소리)
자동화 된 작업 병렬화 hadoopy 플로우 프로젝트에서 사용할 수있는 '자동 oozie'(지점에서 유지)
launch_local와 수정되지 않은 맵리 듀스 작업의 지역 실행
파이썬에서 HDFS에 직접 TypedBytes의 / 쓰기 시퀀스 파일 읽기 (readtb, writetb)
(모두 작업의 표준 오류에서 사용할 수있는, '파이프 호핑'기술을 사용) 문제없이 하둡 작업의 표준 출력 및 표준 오류에 인쇄 할 수 있습니다
여분의 설치, 파이썬, 또는 (이 소스 트리에 포함되어 pyInstaller 중에 사용) 파이썬 라이브러리없​​이 클러스터에서 작동
OS X에서 작​​동
중요한 경로는 Cython에
간단한 HDFS 액세스 파이썬 내부 (readtb과 LS), 심지어 내부 실행중인 작업
단위 테스트 인터페이스
상태와 카운터를 사용하여보고 (인쇄 문을! 필요 Hadoopy에서 그들을 무서워하지합니다)
린 & 다이어 책의 디자인 패턴을 지원
Typedbytes 지원 (매우 빠르게)
Oozie 지원

요구 사항 :

Cython 0.13 이상