yahi

yahi 아파치 / lighttpd를위한 기본 추출기를 제공하는 다양한 로그 파서입니다.
커맨드 라인 사용법
yahi와 분석 데이터의 예 : http://wwwstat.julbox.fr/
간단한 사용법은 다음과 같습니다
speed_shoot -g / usr / 지방 / 데이터 / geoIP은 / var / www /에서 아파치 / 액세스 * 로그
그것은 형태로 JSON을 반환합니다 :
{
& NBSP; "by_date": {
& NBSP; "2012년 5월 3일"(11)
& NBSP;}
& NBSP; "total_line": 11,
& NBSP; "ip_by_url": {
& NBSP; "/의 favicon.ico": {
& NBSP; "192.168.0.254": 2,
이 & nbsp; "192.168.0.35": 2
& NBSP;}
& NBSP; "/": {
& NBSP; "74.125.18.162": 1,
& NBSP; "192.168.0.254": 1,
이 & nbsp; "192.168.0.35": 5
& NBSP;}
& NBSP;}
& NBSP; "by_status": {
& NBSP; "200": 7,
& NBSP; "404": 4
& NBSP;}
& NBSP; "by_dist": {
& NBSP; "알 수없는"(11)
& NBSP;}
& NBSP; "bytes_by_ip": {
& NBSP; "74.125.18.162"(151)
& NBSP; "192.168.0.254": 489,
& NBSP; "192.168.0.35": 1093
& NBSP;}
& NBSP; "by_url": {
& NBSP; "/ favicon.ico의"4,
& NBSP; "/": 7
& NBSP;}
& NBSP; "by_os": {
& NBSP; "알 수없는"(11)
& NBSP;}
& NBSP; "week_browser": {
& NBSP; "3": {
& NBSP; "알 수없는"(11)
& NBSP;}
& NBSP;}
& NBSP; "by_referer": {
& NBSP; "-": 11
& NBSP;}
& NBSP; "by_browser": {
& NBSP; "알 수없는"(11)
& NBSP;}
& NBSP; "by_ip": {
& NBSP; "74.125.18.162": 1,
& NBSP; "192.168.0.254": 3,
이 & nbsp; "192.168.0.35": 7
& NBSP;}
& NBSP; "by_agent": {
& NBSP; "모질라 / 5.0 (X11, 우분투, 리눅스 x86_64에, RV : 12.0)의 Gecko / 20100101 파이어 폭스 / 12.0 (translate.google.com 경유), gzip을 (GFE)": 1,
& NBSP; "모질라 / 5.0 (X11, 우분투, 리눅스 x86_64에, RV : 12.0)의 Gecko / 20100101 파이어 폭스 / 12.0"(10)
& NBSP;}
& NBSP; "by_hour": {
& NBSP; "9": 3,
& NBSP, "10": 4,
& NBSP, "11": 1,
& NBSP, "12": 3
& NBSP;}
& NBSP; "by_country": {
& NBSP; "": 10,
& NBSP; "US": 1
& NBSP;}
}
당신이 사용하는 경우 :
speed_shoot -f CSV -g / usr / 지방 / 데이터 / geoIP은 / var / www /에서 아파치 / 액세스 * 로그
당신의 결과는 다음과 같습니다
by_date, 2012-5-3,11
total_line, 11
ip_by_url / favicon.ico의, 192.168.0.254,2
ip_by_url / favicon.ico의, 192.168.0.35,2
ip_by_url, /, 74.125.18.162,1
ip_by_url, /, 192.168.0.254,1
ip_by_url, /, 192.168.0.35,5
by_status, 200,7
by_status, 404,4
by_dist, 알 수없는, (11)
bytes_by_ip, 74.125.18.162,151
bytes_by_ip, 192.168.0.254,489
bytes_by_ip, 192.168.0.35,1093
by_url / favicon.ico의 4
by_url, /, (7)
by_os, 알 수없는, (11)
알 week_browser, 3, 11
by_referer, -, (11)
by_browser, 알 수없는, (11)
by_ip, 74.125.18.162,1
by_ip, 192.168.0.254,3
by_ip, 192.168.0.35,7
by_agent, "모질라 / 5.0 (X11, 우분투, 리눅스 x86_64에, RV : 12.0)의 Gecko / 20100101 파이어 폭스 / 12.0 (translate.google.com 경유) gzip을 (GFE)", 1
by_agent, 모질라 / 5.0 (X11, 우분투, 리눅스 x86_64에, RV : 12.0)의 Gecko / 20100101 파이어 폭스 / 12.0,10
by_hour, 9,3
by_hour, 10,4
by_hour, 11,1
by_hour, 12,3
by_country ,, (10)
by_country, 미국, 일
그럼 난 먼저 geoIP 데이터 파일을 가져올 필요가 있기 때문에 작동하지 않습니다 같아요
wget을 -O- "http://www.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz"|하라 zcat> /usr/local/data/GeoIP.dat
물론, 이것은 geoIP 정확한 머물 자주 업데이트해야하기 때문에 내가 패키지에 데이터를 포함하지 않는, geoLite 데이터베이스입니다.
geoIP의 기본 경로는 데이터 / GeoIP.dat입니다
스크립트로 사용
속도 촬영 사실 모듈로 yahi를 사용하는 방법의 템플릿입니다 :
#!으로 / usr / bin / env를 파이썬
archery.bow 가져 오기 한큐에서 _dict로
yahi 수입 노치에서 촬영
날짜 가져 오기 날짜에서
문맥 = 노치 ()
date_formater = 람다 DT : "% S- % S- %의"% (dt.year, dt.month, dt.day)
context.output (
& NBSP (촬영
& NBSP; 상황,
& NBSP; 람다 데이터 : _dict ({
& NBSP; 'by_country'_dict ({데이터 [ '_ 국가'] : 1}),
& NBSP; 'by_date'_di​​ct ({date_formater (데이터 [ '_ 날짜']) : 1})
& NBSP; 'by_hour'_dict ({. 데이터 [ '_ 날짜'] 시간 : 1}),
& NBSP; 'by_os'_dict (데이터 {[ '_ OS_NAME'] : 1}),
& NBSP; 'by_dist'_dict (데이터 {[ '_ dist_name'] : 1}),
& NBSP; 'by_browser'_dict (데이터 {[ '_ BROWSER_NAME'] : 1}),
& NBSP; 'by_ip'_dict (데이터 {[ 'IP'] : 1}),
& NBSP; 'by_status'_dict ({데이터 [ '상태'] : 1}),
& NBSP; 'by_url'_dict (데이터 {[ 'URI'] : 1}),
& NBSP; 'by_agent'_dict ({데이터 [ '에이전트'] : 1}),
& NBSP; 'by_referer'_dict (데이터 {[ '참조 자'] : 1}),
& NBSP; 'ip_by_url'_dict (데이터 {[ 'URI'] : _dict (데이터 {[ 'IP'] : 1})})
& NBSP; 'bytes_by_ip'_dict ({데이터 [ 'IP'] : INT (데이터 [ '바이트'])})
& NBSP; 'week_browser'. _dict ({데이터 [ '_ 날짜'] 평일 () :
& NBSP; _dict (데이터 {[ "_ BROWSER_NAME"] : 1})})
& NBSP; 'total_line': 1,
& NBSP;})
& NBSP),
)
설치
쉽게로 :
yahi를 설치 PIP
나 :
easy_install을 yahi
이 권유 사용
- 기본 로그 집계, 나는 명령 줄을 사용 해보는 것이 좋다고 않는다;
- 하나의 샷 메트릭​​ 나는 대화 형 콘솔 (bpython 또는 ipython)를 추천합니다;
- 특정 메트릭 또는 정교한 필터에 대해 나는 API를 사용 해보는 것이 좋다고

이 요구 사항 :

이 파이썬.