reppy 0.1.0

reppy가 발생 다른 robots.txt를 파서에 memoization 지원의 부족, 그리고 내장 robotparser에서 크롤링 지연 및 사이트 맵에 대한 지원의 부족에서 시작했다.어울리는이 패키지는 1996 년 RFC뿐만 아니라 와일드 카드 매칭, 탐색 지연 및 사이트 맵 등을 추가 일반적으로 구현 된 기능을 지원합니다. 허용 및 금지 일치에 대한 다양한 접근 방법이있다. 한 가지 방법은 가장 긴 매치를 사용하는 것이다. 또 최를 사용하는 것이다....
최근에 본 소프트웨어를