Grub Next Generation upload server

브 차세대 웹의 인덱스를 구축하고 (자유에서와 같이) 무료로 유지하는 데 도움이 분산 웹 크롤링 시스템 (클라이언트 / 서버)입니다. 이 C #으로 작성된 독립, 구성 업로드 서버입니다 (모노)
검색은 인터넷의 기본적인 하부 구조의 일부이다. 그리고, 현재는 세분화된다.
왜 깨? 자유의 부족, 지역 사회의 부족, 책임의 부족, 투명성의 부족 : 그것은 독점 소프트웨어는 항상 깨진 것과 같은 이유로 나뉩니다. 여기에서, 우리는 모든 것을 변화하기 시작합니다.
그럽는 검색 처리 파이프 라인의 일부를 분배하는 간단한 개념 2000 다시 시작 : 크롤링. 방법으로, 우리는 조금 앞서 우리 시대의했지만, 우리의 의도는 지금 무엇을했다. 우리는 수정 검색을 도와주고 싶어.
이제, 익명, 지역 사회 구성원, contributers, 오픈 소스 개발자의 도움으로 우리의 시간이 다시왔다. 더 큰 무언가의 일부가 될 가자. 우리가 세상을 바꿀 수 있도록 와서

이 릴리스의 새로운 기능 : 있습니다.

임시 디렉토리를 삭제하지와 고정 버그
일부 코드 최적화

버전 0.9의 새로운 기능 :

더 나은 처리는 파일을 .pid
SOLR에 연결 실패에 충돌 업 로더와 고정 버그
파일 .ARC 더 나은 업로드
중지 / 재시작 서버와 버그 수정

버전 0.8.6의 새로운 기능 :

업데이트 서버 API
업 로더가 .pid 파일에 의해 작동하는지 확인
파일 목록에 충돌 서버와 버그 수정
목록 디렉토리 동안 금액과 총 파일 크기에 대한 정보를 추가
HTTP를 통해 비활성화 디렉토리 목록에 추가 옵션
BZip2로와 우편 번호 : 압축 방법에 대한 추가 지원

0.8.5 버전의 새로운 기능 :

API가 수정되었습니다 통해 서버 옵션 설정.
서버가 올바르게의 HTTP GET 요청에 대한 URL을 인코딩합니다.
일부 코드 최적화가 이루어졌다.

0.8.4 버전의 새로운 기능 :

메모리를 사용하는 대신 디스크에 직접 작업하는 옵션을 추가
URL의 .ARC 파일의 콘텐츠 유형에 대한 추가 확인
업로드 / 다운로드 제한 연결 속도를 설정하는 옵션을 추가
잘못된 PUT 요청에 충돌 서버와 버그 수정
일부 코드 최적화

0.8.3 버전의 새로운 기능 :

수신 잘못된 .ARC 파일에 충돌 서버와 버그 수정
최대에 대한 제한을 구성하는 추가 옵션은 good.arc과 bad.arc 파일의 크기를 구성하는 옵션을 추가 .ARC 파일에 하나의 URL에 대한 MB의 허용
추가 옵션은 IP 또는 이름으로 접속을 금지합니다
추가 원격 제어 (/ 정지 / 다시 시작 구성)
추가 ClamAV를 C #을 래퍼
일부 코드 최적화

0.8.1 버전의 새로운 기능 :

잘못된 HTML 메타 태그에 충돌 업 로더와 고정 버그
파일에 유효하지 않은 데이터에 충돌 업 로더와 고정 버그
SOLR에 연결에 충돌 업 로더와 고정 버그
.ARC 파일에 잘못된 HTTP 상태 코드에 충돌 서버와 버그 수정
조기 폐쇄 연결에 충돌 서버와 버그 수정
UTF-8로 전환시킬 수있다 SOLR 만이 페이지에 추가 쓰기
SOLR UpdateXML에서 모든 제어 문자를 제거 추가

버전 0.6의 새로운 기능 :

이 코드 정리 및 리팩토링
별도의 프로그램으로 파일을 업로드하고 .ARC 확인 이동
카운트 연결된 클라이언트와 버그 수정
잘못된 POST 요청에 고정 된 서버 응답
복사 존재하지 않는 파일에 충돌 서버와 버그 수정
미완성 파일 다운로드에 충돌 서버와 버그 수정
고정 버그 # 377 : 연결 재설정 대신 디스크 전체 오류가 발생한 후 폐쇄됩니다
추가 간단한 연결 로그
추가 옵션은 디스크에있는 파일을 .ARC 이동 (뿐만 아니라 하둡에)

버전 0.5의 새로운 기능 :

이 첫 번째 베타 버전입니다.
LZMA 압축 지원을 첨​​가 하였다.
서버 API는 확대되었다.
.ARC 전송 된 파일의 정확성을 검사하는 개선되었다.
코드 최적화가 이루어졌다.