Collect URL 1.9

수집 URL은 검색 엔진 봇처럼 인터넷을 검색합니다. 사용자가 입력 한 URL부터 시작하여 URL에있는 모든 링크를 나열합니다. 그런 다음 목록에서 모든 링크를 반복적으로 검사합니다. 사용자는 수집 도메인을 제한하여 단일 도메인 만 수집 할 수 있습니다. 파일 확장명 무시 목록을 편집 할 수 있습니다. 연결 및 응답 시간 초과 값을 편집 할 수 있습니다. 또한 사용자는 HTTP 및 HTTPS 연결을위한 사용자 에이전트 값을 변경할 수 있습니다. 이...