Methabot

Methabot 소프트웨어는 속도 최적화, 스크립트 및 고도로 구성 웹, FTP 및 로컬 파일 시스템 크롤러입니다. 이 스크립트 파일 형식 구문 분석, 사용자 정의 옵션의 다양한 지원 쉽게 anyones에 특정 요구에 맞게 구성되어 있습니다.
모듈 시스템 및 스크립팅 언어를 사용하여, 사용자는 크롤링 프로세스의 전체 또는 일부를 장악하고 웹 데이터, 통계 등을 저장해야하지만 Methabot를 결정 할 수 있습니다.
당신이 스크립터가 될 필요가 없습니다, 그래서 그냥 명령 줄에서 Methabot을 실행하여 당신은 표정, 행동 등을 필터링 할 수 구성 사용자 정의 파일 형식은있다

특징 :

그것은 지상에서 설계를 염두에 속도 최적화와, 빨리.
E4X와 자바 스크립트를 통해 스크립트
사용자 정의 파일 형식 필터링 (MIME 형식, 파일 확장자 또는 유 멕스의 표현에 따르면)
멀티 스레드
명령 줄에서 고도로 구성
확장 모듈 시스템, 사용자 정의 데이터 파서 및 필터를 지원.
유 멕스를 통해 URL을 단순하면서도 강력한 필터링.
자동 다운로드
자동 쿠키 처리에 대한 지원을 통해 실행 HTTP
신뢰할 수있는, 결함 허용 네트워크
휴대용, 32 비트 / 64 비트 리눅스 2.6에 성공 테스트, 32 비트 / 64 비트의 FreeBSD 6.x의 / 7.0, Windows XP 및 맥 OS X의 거의 모든 유닉스 계열 OS에서 작동해야합니다.

이 릴리스의 새로운 기능 :

버그 수정, 외부 PEEK는 깊이 제한이 엉망이되었다 사용한 경우.
메모리 사용 정리 수정
그것은 크게 크롤링 속도가 느려집니다 때문에 동적 URL 옵션은 더 이상 기본적으로 조회로 설정됩니다
빌드 시스템은 지금 작성하고 링크 할 때 모듈을 사용할 수있는 몇 가지 헤더 파일을 설치합니다
메타 - 구성 도구를 첨가
lmm_mysql이 패키지의 외부로 이동

버전 1.5.0의 새로운 기능 :

변경 사항 및 새로운 기능 :
표준 입력에서 intial 버퍼를 읽기위한 지원
--type과 --base-URL 명령 줄 옵션은 구성 파일의 initial_filetype 옵션과 함께 추가
멀티 스레드를 실행할 때 쿠키 및 DNS 정보가 올바르게 노동자 사이에 공유
--examples 몇 가지 예를 사용 명령을 추가
스레드 간 통신에 큰 개선, 지금보다 빠르고 조직
스크립트에 '초기화하기'기능에 대한 지원을 추가했습니다. http://bithack.se/projects/methabot/docs/e4x/init_functions.html에서 초기화 기능에 대해 자세히 알아보기
더 이상 여러 개의 동시의 HTTP HEAD 요청을 할 때 libmetha 동결하지 않습니다. 정지의 이유가 수정되었습니다 libcurl에서의 버그했다. 일부 해결 방법은을뿐만 아니라 결함 libcurl에 버전을 사용할 때 발생하는에서 동결을 방지하기 위해 libmetha에 추가되었습니다.
이전 libcurl에 버전 7.17.x와 7.16.x 지원
새로운 정보가 제공됩니다; & quot; 인 & quot; 자바 스크립트 파서, 콘텐츠 유형 및 전송 상태 코드의 객체입니다. http://bithack.se/projects/methabot/docs/e4x/this.html에서 더 읽기
상세 모드는 이제 기본이기 때문에 --verbose 옵션은 --silent로 대체
FTP를 크롤링하고 ftp_dir_url 크롤러 옵션에 대한 초기 지원
깊이 제한은 이제 크롤러 특정
명령 줄 옵션을 추가 --crawler 및 --filetype
이미 정의 크롤러 및 파일 형식을 확장하고 재정 지원
구성 파일의 복사 키워드에 대한 지원
지원 동적 활성 크롤러를 전환, 이것은 하나의 크롤링 세션에서 완전히 다른 방식으로 다른 웹 사이트를 크롤링 할 수 있습니다. http://bithack.se/projects/methabot/docs/crawler_switching.html에서 크롤러 전환에 대해 자세히 알아보기
libev 버전은 3.51로 업그레이드
설정 파일에 포함 지시문은 이제 포함 된 구성 파일이 이미로드되지 않은 포함 - 루프와 여러 파일 형식 / 크롤러 정의를 방지하기 위해 확인합니다.
다중 스레드 세션 후 정리할 때 다양한 SpiderMonkey를 가비지 컬렉션 수정, libmetha 더 이상 충돌하지 않습니다
--info 옵션을 몇 가지 추가 정보를 추가
'외부'옵션은 이제 고정하고 다시 활성화
새로운 옵션 --spread 노동자
새로운 libmetha API 함수의 lmetha_global_setopt ()는 전역 오류 / 메시지 / 경고 기자를 변경 할 수 있습니다
개발자를위한 테스트 스위트의 추가 초기 구현
더 나은 오류보고 설정 파일을로드 할 때
버그 수정 HTTP 서버는 HEAD 요청 후 Content-Type 헤더를 반환하지 않은 경우
다수의 HTTP HEAD 요청 후 버그 수정 정렬 된 URL
HTML 페이지 및 LT하지 않았다 XML로 변환 HTML에서 버그 수정; HTML한다 꼬리표
버그 수정, extless-URL 옵션은 작동하지 않았다
버그 수정은 XML로 변환 HTML은 더 이상 실제 HTML 전에 바이트 순서 마크 또는 기타 텍스트에 질식하지
버그 수정, 지원되지 않는 프로토콜에 액세스하는 URL을 시도하는 libmetha을 방지
버그 수정 오류 후 종료 할 때.
버그 수정이 해결할 수없는 URL은 세 가지 시도 후 재시도 루프를 탈출하지 않았다
for Win32는 매우 실험적이고 불안정한 지원은 주로 개발자를 대상으로
새 구성 파일 :
google.conf는 구글 검색을 수행 할 수
youtube.conf, 유튜브 검색
meta.conf는 HTML 페이지에 대한 키워드 및 설명과 같은 메타 정보를 인쇄
title.conf는, HTML 페이지의 제목을 인쇄
ftp.conf, FTP 서버를 크롤링

버전 1.4.1의 새로운 기능 :