Beaver

비버 로그에 우적과 logstash하는 내용을 전송하는 파이썬 데몬입니다.
설치
PIP를 사용 :
Github에서 보낸 사람 :
자식 + 자식을 설치 PIP : //github.com/josegonzalez/beaver.git#egg=beaver을
PyPI에서 :
비버를 설치 PIP == 1
용법
사용 :
비버 [-h] [-r은 {노동자, 대화 형}] [-m {바인드, 연결}] [-p PATH]
& NBSP; - F FILES [FILES ...]] [-t 운송]
선택적 인수 :
-h이​​ 도움말 메시지와 출구를 표시 --help
-r {노동자, 대화 형}, {--run 노동자, 대화 형}
이 & nbsp; 실행 작업자 또는 대화식 모드
-m {바인드, 연결}, --mode {바인드, 연결}
& NBSP; 바인드 또는 연결 모드
-p PATH, --path PATH 경로를 로그 파일로
-f 파일 [FILES이 ...], FILES --files [파일 ...]
& NBSP; 공백으로 구분 된 파일 목록을 볼 수 있습니다. 오버라이드 (override) --path
& NBSP; 인수
-t {AMQP, 레디 스, 표준 출력}, {--transport AMQP, 레디 스, 표준 출력}
& NBSP, 전송 방법, 로그
배경
비버는 Logstash 로컬 로그 파일을 발송하는 경량 방법을 제공한다. 그것은이 사용 중 레디 스를 수행, 표준 입력, 전송으로 zeromq. 이것은 당신이 이벤트를 얻을 수있는 길을 어딘가에 표준 입력, zeromq, 입력 레디 스 필요합니다 의미합니다.
이벤트는 logstash의 json_event 형식으로 전송됩니다. 옵션은 또한 환경 변수로 설정 될 수있다.
예를 들면
예 1 : 표준 출력에 / var / log에의 기본 경로에있는 모든 파일을들을 :
비버
예 2 : var에 /에서 로그를 보내기 / 레디 스 목록에 로그 파일 :
REDIS_URL = "레디 스 : // localhost를 : 6379/0"비버 -t의 레디 스
예 3 : 환경 변수는 / var /에서 로그를 보내 레디 스 목록에 로그 파일에 :
REDIS_URL = "레디 스 : // localhost를 : 6379/0"BEAVER_PATH = "는 / var / log"BEAVER_TRANSPORT = 레디 스 비버
예 4 : Zeromq 포트 5556 (모든 인터페이스)에서 수신 :
ZEROMQ_ADDRESS = "TCP : // * : 5556"비버 -m 바인드
# logstash의 구성 :
입력 {zeromq {
& NBSP; 유형 => '선적 입력'
& NBSP; 모드 => '클라이언트'
& NBSP; 토폴로지 => '푸시 풀'
& NBSP; 주소 => 'TCP : // shipperhost : 5556'
& NBSP;}}
출력 {표준 출력 {디버그 => 진정한}}
예 5 : Zeromq가 인덱서에 원격 포트 5556에 연결 :
ZEROMQ_ADDRESS = "TCP : // 인덱서​​ : 5556"비버 -m 연결
# logstash의 구성 :
입력 {zeromq {
& NBSP; 유형 => '선적 입력'
& NBSP; 모드 => '서버'
& NBSP; 토폴로지 => '푸시 풀'
& NBSP; 주소 => 'TCP : // * : 5556'
& NBSP;}}
출력 {표준 출력 {디버그 => 진정한}}

이 릴리스의 새로운 기능입니다 것은 : 구성을 전송에

이 새로운 파일이 추가되어 있는지 확인합니다. # 96 닫습니다. # 101 닫습니다. [호세 디아즈 - 곤잘레스]
update_file_mapping_time는 부동 번호를 허용합니다. [호세 디아즈 - 곤잘레스]
부울 값의 잘못된 캐스팅을 수정합니다. [호세 디아즈 - 곤잘레스]
config.py의 모든 변환을 수행합니다. # 99 닫습니다. [호세 디아즈 - 곤잘레스]

이 버전 16의 새로운 기능 :

이 메모리 오버런을 제한하는 100의 최대 큐 크기를 지정합니다. [호세 디아즈 - 곤잘레스]
큰 큐 크기를 처리하기위한 멀티를 사용합니다. [호세 Diaz- 곤잘레스]
이전에 광택 또는 서버 로그로 흔히 업데이트 된 파일 비버 내 file.readlines ()의 원래 구현을 압도 문제가 있었다. 이것은 비버 천천히 라인 중 하나를 처리하기 전에 파일의 크고 큰 부분을 읽는 원인이 결국 비버 로그 라인을 처리하는 영원히 걸리게.
이 패치는 로그 라인에 대한 내부 작업 큐를 사용 할 수있는 기능을 추가합니다. file.readlines ()가 호출 될 때마다 행은 자식 프로세스와 공유 큐에 배치됩니다. 자식 프로세스는 우리가 잠재적으로 더 큰 큐 크기를 처리하기 위해 미래의 처리 풀을 생성 할 수 있도록, 자신의 전송을 생성한다.
file.readlines의 제한 () 너무 많은 라인 읽기가 여전히 존재하고, 특정 로그 파일에 대한 문제가 발생할 수 있다는 점을 유의.
BeaverConfig 클래스에 기본 redis_password를 추가합니다. [호세 디아즈 - 곤잘레스]
전송이 중단 원인 밑줄 누락 수정. [노먼 조이너]
레디 스 정식 지원을 구현합니다. [노먼 조이너]
daemonization 모드 비버 init 스크립트를 추가합니다. [호세 디아즈 - 곤잘레스]
StdoutTransport를 사용할 때 파이썬 로거를 사용합니다. [호세 디아즈 - 곤잘레스]
호스트 이름과 형식에 대한 짧은 인수 플래그를 추가합니다. [호세 디아즈 - 곤잘레스]
디먼 화 할 수있는 기능을 추가합니다. # 79 닫습니다. [호세 디아즈 - 곤잘레스]
모든 전송에 로거 인스턴스 주위에 전달합니다. [호세 디아즈 - 곤잘레스]
되돌리기 & quot; 추가에게 경량 이벤트 클래스 & quot을; [호세 디아즈 - 곤잘레스]
심의 후, 비버가 될 하 '의미이며, 경량 & quot ;. 큰 소년에 큰 타격을 떠날 수 있습니다.
이 1619d33ef4803c3fe910cf4ff197d0dd0039d2eb 커밋 돌아갑니다.
경량 이벤트 클래스를 추가했습니다. [호세 디아즈 - 곤잘레스]
이 클래스의 책임은 이벤트로 주어진 라인의 처리 될 것입니다. 그것은 미래 목표 Logstash 내의 필터 시스템의 경량 구현 역할을 할 것이다
파이썬 2.7 이상에 대한 argparse 요구 사항을 제거합니다. [호세 Diaz- 곤잘레스]

이 버전 13의 새로운 기능 :

이 고정 특정 환경 변수. [호세 디아즈 - 곤잘레스]
SSH 터널을 지원합니다. [호세 디아즈 - 곤잘레스]
이 코드는 우리가 데이터를 송신 및 수신 목적으로 두 개의 별개의 서버간에 SSH 터널을 만들 수 있도록한다.
이것은 당신이 그렇지 않으면 같은 AWS에 두 개의 서로 다른 영역에서 실행되는 경우와 같이 방화벽이나 iptables에 설정에서 허용 된 사이트 목록 필요가 특정 경우에 유용합니다.
초기 연결 지연에 대한 허용합니다. SSH 프록시 연결에 도움이 기다릴 때. [호세 디아즈 - 곤잘레스]
특정 설정의 기본값은 부적절한 값의 어디 문제를 해결합니다. [호세 디아즈 - 곤잘레스]
플래그를 통해 호스트를 지정 허용합니다. # 70 닫습니다. [호세 디아즈 - 곤잘레스]

이 요구 사항 :

이 파이썬