Apache Kafka

을 아파치 카프카 (당신이 그것에 익숙하다면) 및 활동 스트림을 처리하는 데 사용할 수있는 페이스 북의 스크 엔진과 유사하다.

그것은 개발자가 하나 이상의 활동 스트림 (또는 피드)을 유지 할 수 있도록하여 작동합니다.

이 피드는 주제로 구성 할 수 있으며, 다음 (게시) 방송.

피드를 관리하고 게시 카프카의 부품 생산이라고합니다.

카프카는 기본적으로 생산자와 소비자 사이의 중간 층 규모의 모든 유형의 트래픽과 요청의 종류를 처리 할 수​​있는 복잡한 시스템이다.

카프카는 개발자가 클라우드 서비스에 자신의 펍 / 서브 시스템을 확장 할 수 있도록 분산 서버 아키텍처를 처리하기 위해 만들어진 때문입니다.

새 을 무엇에 이 릴리스 :.

• 구현의 용이성 및 성능 향상을 위해 새로운 자바 프로듀서
• 주제 지원을 삭제합니다.
  가용성에 일관성 선호의 주제 구성에 따라
• .
  스칼라 2.8
• 스칼라 2.11 지원 및 삭제를 지원합니다.
• LZ4 압축.

새 을 구현의 용이성을 위해 버전 0.8.2.1:

• A 새로운 자바 생산자와 향상된 무엇 성능을 제공합니다.
• 주제 지원을 삭제합니다.
  가용성에 일관성 선호의 주제 구성에 따라
• .
  스칼라 2.8
• 스칼라 2.11 지원 및 삭제를 지원합니다.
• LZ4 압축.

를 버전 0.8.0-β1의 새로운 무엇 :.

• 고정 기존의 반환 한 도구
• 와이어 기존의 생산자와 소비자는 새로운 ZK 데이터 구조를 사용합니다.
• 생성 / 관리 도구에서 주제에 대한 ZK 경로를 삭제합니다.
• 구현 임베디드 컨트롤러.

을 버전 0.7.1의 새로운 무엇 :

• 소비자 재조정시 중복 메시지를 피
• 지원 구성 전송 / 서버에서 소​​켓 버퍼 크기를 수신
  <리> JAVAAPI ZookeeperConsumerConnectorTest는 스칼라 버전의 많은 테스트를 중복
• 소비자 재조정의 # 구성 할 시도합니다
  연결할 수없는 경우
• SyncProducer 호스트와 포트를 기록해야합니다.
• 압축되지 않은 주제에 대한 카프카의 소비자에 의해 제공 중복 메시지를 줄
• 직접 로깅 스택 트레이스를 피
• 소비자 재조정 동안 백 오프 시간을 확인 구성
• kafka.producer.Producer를 사용하여 log4j 어 펜더 및 지원 zk.connect 개선 | broker.list 옵션을
• 독립 실행 형 응용 프로그램으로 미러링 카프카을 분리
• 하둡 프로듀서가 사용할 소프트웨어로드 밸런서

을 버전 0.7.0의 새로운 무엇 :

는

• 카프카는 이제 블록 레벨 압축을 지원합니다. 자세한 내용은 압축 위키를 참조하십시오. 현재는 GZIP이 이식 저녁을 먹다된다.
• 지금 공간 (log.retention.size)에 따라 달라질 수 있습니다 유지를 로그인합니다.

을 버전 0.6의 새로운 무엇 :

• 수정 된 버그 :
  소켓 IO 예외를 얻을 때 <리> SimpleProducer 메시지를 잃게
• 생산자 잘못된 MessageSet 브로커 로그를 손상, 그것을 추가합니다 보내는 경우
• ByteBufferMessageSet 크기를 가져 오기에 대한 오류를 기록
• 종료 카프카 모든 디스크 입출력 오류가있는 경우
• 서버 소비자에게 모든 예외를 전파
• SimpleConsumer 닫기 ()가 동기화되어야합니다
• 소비자 코드 문서
• AsyncProducer에 이벤트 핸들러를 개선
  생산 요청을 서비스하는 동안
• 사육사를 기반으로 생산자는 목록에서 죽은 브로커를 제거하지 않습니다
  가까운 기간 동안
• 소비자 로그 오류
• 개선 :
• 정리 JUnit 테스트
• MessageSet 자바를 구현하지 않습니다 반복 가능한
• 카프카의 기본 인코더 LOG4 펜더
• 명시 적으로 모든 스레드의 이름을
• 자바와 스칼라 API로 리팩터링 공용 API
• 모든 공용 API에 대한 API 문서를 향상
• 자바 FileMessageSet API를 제거
• 단위 테스트가 일부 Linux 시스템에서 실패
• 현재 사용하고 반환 한, 예,의 contrib에 대한 SBT 하위 프로젝트를 만들 개미
• 카프카 서버에 동적으로 log4j의 레벨을 변경하기위한 JMX를 추가
• 3.3.3 사육사하는 업그레이드
• JAVAAPI MessageSet는, writeTo 소켓을 구현하는 데 필요하지 않습니다
• 새로운 기능 :
• 새로운 생산자 API