DataCleaner

DataCleaner 증가 및 데이터의 품질을 측정하고자하는 단체 및 기업을위한 오픈 소스 전부 무료 솔루션입니다.

DataCleaner으로, 사용자가 프로파일 비교, 비즈니스 규칙에 대해 데이터의 유효성을 검사하고, 시간이 지남에 따라 이러한 측정의 진행을 모니터 할 수 있습니다.

은 그것의 기능 중, 우리는 중복, 고객 데이터 품질뿐만 아니라 초고속 ETLightweight을 (추출이 - 변환 -로드) 감지 및 병합, 데이터 모니터링, 데이터 프로파일 링 및 DQ 분석, 데이터 정제 및 농축을 언급 할 수 있습니다.

뿐만 아니라 그것을 작동하는 방법으로 DataCleaner의 기능과 기능에 대한 자세한 내용은 http://eobjects.dk/docs

What를 참조하십시오이 릴리스의 새로운 기능입니다

개선 및 새로운 기능 :
우리는 가능한 만들고 DataCleaner의 바탕 화면 UI를 통해 테이블​​을 드롭했습니다. 참고 용어 해당 표 & quot; 여기에 실제로 바로 관계형 데이터베이스 테이블 이상을 포함한다. 또한 CouchDB를하고 ElasticSearch에서 MS 엑셀 데이터 스토어에서 시트, MongoDB의에서 컬렉션, 문서 유형이 포함 등등 ... 기본적으로 이러한 CSV 데이터 저장소와 같은 단일 테이블의 데이터 저장소를 제외하고 쓰기 작업을 지원하는 모든 데이터 저장소 유형은이 기능을 지원! 기능을 통해 노출되는 :
& 용어는 테이블 만들기 & quot; 비아 활성화 된 응용 프로그램의 왼쪽에있는 트리에서 스키마의 메뉴를 마우스 오른쪽 단추로 클릭합니다.
& 용어는 테이블 만들기 & quot; 테이블, 테​​이블 조회 및 업데이트 테이블에 같은 삽입과 같은 구성 요소 테이블 선택 입력을 통해도 사용 가능.
& 용어는 테이블 & quot 드롭; 비아 활성화 된 응용 프로그램의 왼쪽에있는 트리 테이블의 메뉴를 마우스 오른쪽 단추로 클릭합니다.
우리는 당신의 Salesforce.com 웹 서비스 엔드 포인트 URL을 지정하는 (옵션) 기능을 추가했습니다. 이것은 당신이 Salesforce.com의 샌드 박스 환경뿐만 아니라에 사용자 정의 엔드 포인트에 연결 DataCleaner를 사용할 수 있습니다.
ElasticSearch 지원은 사용자 정의 매핑을 허용뿐만 아니라 검색 및 인덱싱도 이제 ElasticSearch 데이터 저장소 정의를 재사용 향상되었습니다.
기록과 중복 검출 기능의 잠재적 중복 선택의 샘플링은 훈련 중에 결정이 더 대표하기 때문에 빠른 구성으로 이어지는 향상되었습니다.
중복 검출 모델 파일 포맷은 과거 훈련 결정을 저장하기 위해 별도의 '기준'파일에 대한 필요성을 제거시킨 업데이트되었습니다. 이전의 포맷과의 호환성은 유지하지만, 새로운 포맷을 사용하는 것은 사용자 경험에 대한 많은 장점을 추가하고있다.
버그 수정:
스레드의 기아 문제는 DataCleaner 모니터에 고정되었다. 이 문제의 영향이 큰했지만, 그것은 단지 희귀하고 매우 사용자 정의 된 경우에 일어났다. 사용자 정의 리스너가 오류를 throw하는 DataCleaner 모니터에 개체 경우는 결코까지 해제하지 않고 서버에서 석영 스케줄링 풀에서 스레드를 복용중인 자원을 초래할 것입니다. 이 여러 번 일어날 경우 서버는 결국 그 풀의 스레드에서 실행할 수 있습니다.
결과 화면의 수직 메뉴는 현재 결과가 컴포넌트의 라벨을 표시하는 적절한 작업을하고있다. 이렇게하면, 어떤 메뉴 항목 포인트 어떤 결과 항목을 인식 할 수있다.

이 버전 3.5.5의 새로운 기능 :

는 '동의어 검색'변환 이제 입력의 모든 토큰을 조회 할 수있는 옵션이 있습니다. 당신이 긴 텍스트 필드의 값 내에서 동의어 교체를하고있는 경우에 유용합니다.
이것에 대한 모니터의 웹 서비스를 통해 DataCleaner 작업의 실행을 차단하면 때때로 차단 스레드에 의해 발생하는 버그와 함께 실패 할 수 있습니다. 이 문제가 해결되었습니다.
개선 된 방법은 작업 이루어진하고 구성 요소의 시퀀스는 / 폐쇄 실행 후 정리된다.
DataCleaner의 JNLP / 자바 웹 시작 버전은 특정 상황에서가 아닌 웹 시작 런처에 의해 인식되는 특정 JAR 파일을 일으키는 원인이되는 자바 런타임의 버그에 의해 노출되었다. 이 문제는 그 JAR 파일에 약간의 수정을하여 수정되었습니다.
문서에서 몇 죽은 링크가 수정되었습니다.

이 버전 3.5.4의 새로운 기능입니다 :

그것은 변환의 출력 열을 숨길 수있게되었습니다. 숨기기 전혀 처리 흐름에 영향을 미치는, 단순히 사용자 인터페이스에서 숨길 및 다른 구성 요소와 상호 작용할 때 잠재적 따라서, 경험보다 청결하게하지 않을 것이다.
새로운 웹 서비스는 특정 작업의 실행 상태를 폴링하는 방법을 제공 모니터링 웹 애플리케이션에 추가되었다.
버그 레코드가 처리되지했을 때 특정 분석 유형에 실패 할 HTML 보고서를 일으키는 원인이 수정되었습니다.
그리고 6 기타 사소한 버그가 따르기는 하겠지만되었습니다.

이 버전 3.5.1의 새로운 기능입니다 :

이 캡처 기록을 변경 :
새로운 필터는 예를 들어, 이전에 처리되지 않은 레코드 증분 처리를 활성화시켰다 프로파일 또는 복사 레코드 만 수정했습니다. 새로운 필터의 이름은 캡처 변경 데이터 캡처의 개념을 참조 레코드를 변경됩니다.
작업 대기중인 실행 :
그것은 여러 번 트리거되는 경우 DataCleaner 모니터 이제 동일한 잡의 실행을 대기한다. 이것은 당신이 실수로 작업이 무엇을하는지에 따라 문제의 모든 종류로 이어질 수있는 동시에 같은 작업을 실행하지 않도록합니다.
마이너 버그 수정 :
몇 가지 버그 수정이 구현되었습니다.

버전 3.5의 새로운 기능입니다 :

이 여러 마법사는 이제 데이터 스토어를 등록 할 수 있습니다; CSV 파일, 데이터베이스 연결 항목의 서버에 파일 업로드, Salesforce.com 자격 증명 등의 안내 등록을 포함.
마법사를 구축하는 작업은 여러 가지 향상된 기능으로 확장되었습니다; 빠른 분석 마법사의 값 분포와 패턴을 찾는 필드, EasyDQ을 기반으로 고객의 정화 작업과 펜타 데이터 통합​​ 작업을 발사하기위한 새로운 작업 마법사 (더 아래를 참조)를 생성하기위한 완전히 새로운 마법사의 선택.
이제 임시 웹 사용자 인터페이스에서 직접 데이터 저장소를 조회 할 수 있습니다. 이것은 쉬운 작업이나 데이터의 처리의 다른 관리 방법을 설정하지 않고 데이터에 빠르게 또는 산발적 통계를 얻을 수있다.
작업 또는 데이터 저장소가 생성되면, 사용자는 새로 지어진 오브젝트에 조치를 취하도록 안내한다. 예를 들어, 당신은 매우 신속하게 빌드있어 후 바로 작업을 실행하거나 등록 된 후 데이터 저장소를 조회 할 수 있습니다.
이제 관리자는 직접이 작업 파일의 XML 컨텐츠를 손으로 편집 할 경우 특히 유용 저장소에 작업을 업로드 할 수 있습니다.
기술의 쓸모 많은 지금은 간단한 대화 상자를 표시 찬성 숨어있다. 예를 들어, 작업이 트리거 될 때 큰 로딩 인디케이터가 도시되고, 완료되면 그 결과를 도시한다. 이전에 아직 추가 정보에 대한 링크를 클릭시가 표시 될 수 있습니다 된 고급 로깅​​ 화면.

이 버전 3.1.2의 새로운 기능입니다 :

우리는 메트릭 값 A (목록)를 취득하기위한 모니터링 응용 프로그램에서 웹 서비스를 추가했습니다. 이것은 데이터 (품질)를 모니터링 및 써드 파티 애플리케이션의 결과를 노출하는 방법으로 모니터링 더욱 가능한 키 기반 구조 요소로한다.
'표 조회'구성 요소는 구성 가능한 속성과 의미를 결합 추가하여 향상되었습니다. 당신이 가입 또는 INNER 조인 LEFT 같은 의미 일할 수있는 조회를 원하는 경우가 조정할 수 조인 의미를 사용.
EasyDQ 구성 요소는 추가 구성 옵션과 풍부한 중복 제거 결과 인터페이스를 추가, 업그레이드되었습니다.
성능 향상이 릴리스의 특정 초점이되고있다. 개선이 더 이전에 포함되지 않은 특정 코너 경우 스트리밍 처리 방식을 활용 DataCleaner의 엔진으로 이루어지고있다.

이 버전 3.1.1의 새로운 기능입니다 :

이 날짜와 시간 관련 분석 옵션은 주 번호, 개월 동안 유통 분석기를 추가, 확대되고있다. 날짜와 시간에 관련된 모든 분석은 지금이라고 quot 하위 메뉴에서 그룹화, 날짜 및 시간 & quot을; 아래 & quot; 분석 & quot ;.
기술 통계 & quot; 옵션 & quot; 옵션은 번호 분석기 및 날짜 / 시간 분석기에 추가되었다. 이 옵션은 중간, 비대칭, 백분위 및 첨도 이러한 분석의 결과에 추가 측정 항목을 추가합니다. 자신의 메모리 풋 프린트는 기존 통계보다 약간 크기 때문에 이러한 통계는 선택 사항입니다.
모니터링 웹 응용 프로그램의 타임 라인 차트의 선은 지금의 작은 점을 가지고있다. 관찰 포인트는 정확히 지적 - 이것은 그들에 몇 가지 (또는 하나의) 관측 차트에 특히 유용합니다.
호출 임시 쿼리도 실질적으로 개선 된 쿼리 파서. 이제 쿼리는 DISTINCT 절, * -wildcards, 하위 쿼리를 포함하고 내결함성 텍스트의 경우 문제를 향해있다 할 수 있습니다.
두 개의 새로운 변압기는 UUID를 생성하고 생성 타임 스탬프 추가되었습니다.

버전 3.1의 새로운 기능입니다 :

이 메트릭 수식 - 데이터 품질 KPI를 정교 :
훨씬 더 구축 DataCleaner의 모니터링 웹 응용 프로그램에서 데이터 품질 KPI를 정교하게 할 수있게되었습니다. 사용자 인터페이스는 스프레드 시트와 같은 식 스타일로 복잡한 수식을 만들 수 있습니다; DataCleaner 작업에 의해 수집 된 변수를 사용.
메트릭 수식만큼이를 수학 식으로 표현 될 수 있으므로, 측정 항목, 상수 및 동작의 숫자를 조합 할 수있다.
예를 들어 - 총 레코드 수의 비율에 중복 레코드의 속도를 측정한다. 또는 다중 문자열 패턴의 집합에 부합 제품 코드의 양을 측정한다.
임시 쿼리 - 모든 데이터 저장소의 :
DataCleaner 3.1 당신은 지금 어떤 데이터 저장소에 임시 쿼리를 수행 할 수 있습니다! 쿼리는 SQL 일반 표현 될 수 있고, 사용자의 검색 및 데이터 프로파일 경험으로 연장 진정한 유용한 질의 메커니즘을 제공하는, 데이터베이스뿐만 아니라, 파일, 데이터베이스 NoSQL에 더인가한다.
쿼리 옵션은 ADMIN 역할이 할당 된 사용자를 모니터링하는 웹 서비스를 통해 사용할 수도 있습니다. 쿼리는 HTTP 파라미터 또는 POST 본체로 제공되고, 그 결과는 XHTML 테이블로서 제공된다.
값 정규 - 새로운 분석 옵션 :
종종 당신은 값이 허용 특정 필드에 대해 예상해야하는 확고한 생각을 가지고있다. DataCleaner에서 항상 당신이 당신의 가정을 주장 도움이 될 값의 분포 분석 옵션이되었습니다. 값 정규 - DataCleaner 3.1하지만, 당신은보다 정확한 제안이 있습니다. 이 분석 옵션은 예상 값의 집합을 지정하고 구체적으로 확인하고 예상치 못한 값을 식별, 분석과 같은 값 분포를 수행 할 수 있습니다.
작업의 복사, 삭제 및 관리 :
DataCleaner 모니터 응용 프로그램에서 작업 및 결과의 관리가 크게 향상되었습니다. 이제 모니터의 예약 페이지에서 작업을 클릭하고 이름 변경, 복사, 삭제 등과 같은 작업에 사용 가능한 관리 옵션을 찾을 수 있습니다. 각 작업은 분석 결과, 일정 등과 같은 모니터에서 다른 유물에 연계를 존중합니다. 이 모니터링 저장소의 관리가 훨씬 쉬워과 성숙했음을 의미합니다.
데이터 품질 기록 관리 :
때때로 당신은 당신이 실제로 역사적인 데이터 모니터링을 수행 할 상황에 직면 해! 그것은 당신이 역사적인 덤프 또는 표시하고의 이야기를하고자하는 데이터베이스의 백업을 가지고있을 수 있습니다. 이제,이 기록 데이터의 분석을 수행 DataCleaner 모니터에 업로드하고 새로운 웹 서비스를 이용하여 특정 분석 결과의 기록 데이터를 설정할 수있다. 이것은 당신의 타임 라인이 제대로하지만 당신은 시간에 나중에에서 어쩌면 수집 한 결과, 의도 한 날짜를 사용하여 결과를 플롯 것을 의미합니다.
클러스터 스케줄러 지원 (EE 전용) :
이 단순한 구성의 수단에 의해 대체 될 수 있도록 DataCleaner 모니터의 스케줄러는 구체화되었다. DataCleaner의 엔터프라이즈 에디션 (EE), 우리는 기계의 클러스터에 걸쳐 실행을로드 밸런스를 배포 할 수있는 기능을 제공하는 클러스터 스케줄러를 제공합니다.
(만 EE) CAS를 사용하여 단일 사인 온 (SSO) :
DataCleaner의 엔터프라이즈 에디션 (EE)에서 우리는 이제 모니터 응용 프로그램에 대한 단일 로그온 옵션을 제공합니다. 지금 DataCleaner는 IT 인프라, 또한 보안 지혜의 통합 된 일부가 될 수 있습니다.
... 그리고 더 많은 :
위의 단지를 요약 한 것입니다. 30 개 이상의 문제는이 릴리스에서 해결되었습니다. 우리는 포럼과 지역 사회에서 오는 여러 요청을 해결 한, 우리는 변화를위한 수단으로이 매체를 사용하는 모든 사람을 권장합니다. 우리는 DataCleaner의 개발은 크게 지역 사회의 흐름에 의해 영향을받을 수 있도록 매우 기쁘게 생각합니다.

이 버전 3.0.3의 새로운 기능 :

는 모니터링 저장소에 작업 이름을 변경하기위한 서비스를 추가합니다.
당신은 RESTful 웹 서비스 또는 대화 형 UI에서이 액세스 할 수 있습니다.
웹 서비스는 모니터링 저장소 해석 결과의 역사적인 날짜를 변경 하였다.
웹 응용 프로그램은 기존 JSF 컨테이너와 호환 만들어졌다.
웹 응용 프로그램의 구성 캐싱은 매우 빠른 페이지 로딩과 작업 초기화 시간에지도 개선되었다.

이 버전 3.0.2의 새로운 기능 :

이 모니터링 웹 응용 프로그램에서 작업을 트리거 할 때, 패널 실행의 최신 상태를 얻을 수 초마다 자동-새로 고칩니다.
절대 경로와 (예 : CSV 또는 Excel 스프레드 시트와 같은) 파일 기반 데이터 저장소가 올바르게 모니터링 웹 응용 프로그램에서 해결됩니다.
& quot; 키 / 값지도 & quot에서 선택; 변압기는 이제 & quot 같은 중첩 된 선택 식을 지원 Address.Street & quot; 또는 'orderlines [0] .product.name & quot ;.
테이블 조회 메커니즘은 JDBC 데이터베이스에 대해 실행할 때 준비된 문을 사용하여 성능을 위해 최적화되어있다.
데이터 스토어 & quot; 관리자는 이제 & quot에서 직접 파일 기반 데이터 스토어를 다운로드 할 수 있습니다; 페이지.
모니터링 웹 응용 프로그램에서 예외 처리는 오류 메시지가 더 정확하고 직관적, 약간 향상되었습니다.

이 버전 3.0.1의 새로운 기능 :

이 릴리스의 주요 버그 수정이 열 및 특정 열거 범주화의 매핑을 복원에 있었다. 새로운 완전성 분석기에서 예를 들어, 우리는 저장 작업을 다시로드 한 후, 매핑이 항상 정확하지 것으로 나타났습니다.
또한 몇 가지 내부 개선 쉽게 스프링 프레임 워크를 사용하는 환경에서 DataCleaner 모니터 웹 응용 프로그램을 배포 할 수있게되었습니다.
자동으로 작업을 살펴​​ 복용에 의해 마지막으로, 데스크톱 응용 프로그램의 시각화 설정이 개선되었습니다는 시각과 토글 멋지게 보여하는 데 필요한 세부 사항의 화면 크기와 양에 따라 아티팩​​트를 표시된다.

버전 3.0의 새로운 기능입니다 :

이 타임 라인의 디스플레이 및 데이터 품질 지표의 동향
결과, 일정 등을 관리하고 작업을 수용하기위한 중앙 집중식 저장소
예약 및 DataCleaner 작업의 감사
DataCleaner 변환을 호출하는 웹 서비스를 제공하는
보안 및 멀티 테넌시 (multi-tenancy)
경고 및 알림은 데이터 품질 지표는 예상 편안 영역 밖에있는 경우.
단순히 불완전 필드가 레코드를 식별하는 데 매우 유용 새로운 완전성 분석기가 있습니다.
이제 잘 생긴 HTML 당신이 당신의 관리자에게 제공하거나 XML 파서에 보낼 수 없다고보고에 DataCleaner 결과를 내보낼 수 있습니다!
새로운 모니터링 환경도 밀접하게 데스크톱 응용 프로그램과 통합되어 있습니다. 따라서, 데스크톱 응용 프로그램은 이제 모니터 저장소에 일자리와 결과를 게시하고, 저장소에 이미 콘텐츠에 대한 대화 형 편집기로 사용할 수있는 기능이 있습니다.
새 날짜를 지향 변환을 사용할 수 있습니다 : 당신은 기간에 따라 데이터 세트를 서브 세트 수 날짜 범위 필터 및 날짜 마스크를 사용하여 날짜를 포맷 할 수 있습니다 형식 날짜.
합니다 (ExtensionSwap을 통해 이전에는 사용할 수 있었던) 정규식 파서는 지금 DataCleaner에 포함되어 있습니다. 이것은 매우 편리 구문 분석하고 정규 표현식을 사용하여 서식있는 텍스트 필드를 표준화 할 수 있습니다.
사용할 수있는 새로운 텍스트의 경우 변압기가있다. 이 변환하면 쉽게 / 소문자 및 문장과 단어의 적절한 자본 사이의 변환을 할 수 있습니다.
두 개의 새로운 검색 / 대체 변환이 추가되었습니다 : 일반 검색 / 대체 및 정규식 검색 / 교체합니다.
데스크톱 응용 프로그램의 사용자 환경이 향상되었습니다. 우리는 몇 가지의 응용 프로그램 도움말 메시지를 추가 색상이 밝고 선명하게 보이게했다 및 글꼴 처리를 개선했습니다.

이 버전 2.5.2의 새로운 기능 :

이 아파치 CouchDB를 지원 :
우리는되는 NoSQL 데이터베이스 아파치 CouchDB를위한 지원을 추가했습니다. DataCleaner 모두 분석하고 CouchDB를 인스턴스에 쓰기에서 읽기를 지원합니다.
업데이트 테이블 작가 :
DataCleaner에 ETLightweight 스타일의 기능을 가지고 우리의 이전 노력에 따라, 우리는 테이블에 레코드를 업데이트하는 작가를 추가했습니다. 당신은 특정 조건에 따라 레코드를 삽입하거나 업데이트 예를 들어이 사용할 수 있습니다.
테이블 작가에 삽입과 마찬가지로, 새로운 DataCleaner 업데이트 테이블 작가는 SQL 기반 데이터베이스로 제한되지 않지만, 쓰기 (현재 관계형 데이터베이스, CSV 파일, Excel 스프레드 시트, MongoDB를 데이터베이스와 MongoDB를 데이터베이스), 그러나 의미를 지원하는 모든 데이터 저장소 유형 SQL에서 전통적인 UPDATE TABLE 문으로 동일하다.
드릴로-세부 정보는 결과 파일에 저장 :
DataCleaner 2.5의 저장 결과 기능을 사용하는 경우, 일부 사용자는 드릴에-세부 정보가 손실 된 것을 경험했다. DataCleaner 2.5.2에서 우리는 이제 역사적인 데이터 사건을 조사 할 때 당신의 DQ 아카이브 훨씬 더 가치가있어이 정보를 유지.
개선 EasyDQ 오류 처리 :
EasyDQ 성분은 에러 처리의 관점에서 개량되어왔다. 순간적인 네트워크 문제가 발생했을 경우, 또는 다른 유사한 문제에 오류가 몇 가지 기록이 발생하는 경우, EasyDQ 구성 요소는 이제 정상적으로 가장 중요하게 복구 할 것이다 - 당신의 배치 작업도 오류에도 불구하고 우선합니다.
되는 NoSQL 데이터 저장소에 대한 테이블 매핑 :
수동으로 원하는 테이블 구조를 지정할 수 있습니다 DataCleaner 테이블 구조를 자동으로 감지하도록하는 것입니다 기본, 및 고급 : CouchDB를하고 MongoDB를 테이블을 기반 아니지만,보다 동적 인 구조를 가지고 있기 때문에 우리는 그들과 함께 작업하는 두 가지 방법을 제공합니다 . 이전에는 고급 옵션은 XML 구성을 통해에서만 사용 가능했지만, 이제 사용자 인터페이스는 응용 프로그램에서 직접이 작업을 수행하기위한 적절한 대화 상자가 포함되어 있습니다.

이 기능 향상 :

이 버전 2.4.1의 새로운 기능입니다 :
데이터베이스 테이블에 데이터를 기록 할 때 일괄 로딩 기능은 우리가 크게 개선하고 있습니다. 여기에 크기 개선의 많은 주문을 기대할.
데이터 쓰기보다 편리하게 윈도우 메뉴에 옵션을 추가하여 사용할 수있게되었습니다.
이제 쉽게 두 번 그들의 탭을 클릭하여 작업의 구성 요소의 이름을 바꿀 수 있습니다.
당신의 Javascript를이 검사하고 수정하기 쉽게 있도록 자바 스크립트 변압기는 이제 구문 색상을 보유하고 있습니다.
버그 수정:
에서 읽기와 같은 데이터 저장소 (예. DataCleaner 단계 영역)에 기록 할 때 우리는 데이터 저장소의 테이블 캐시가 갱신되어 있는지 확인했습니다. 이전에는 일부 시나리오는 테이블의 오래된보기를 볼 수있었습니다.
응용 프로그램을 시작 잠재적 교착 상태가 해결되었다. 이 교착 상태는 JVM에서 문제의 결과,하지만 우리는 자바에서 특정 API에 대한 모든 호출을 동기화하여 주위했다.

버전 2.4의 새로운 기능 :

이 중복 검출 최대 50 만 값을 무료로 사용할 수 (일명 레코드의 중복 제거 또는 퍼지 일치합니다.).
데이터 유효성 검사 및 정화 주소. 이것은 당신이 경우 수정 당신이 실수를 제안하는 경우에도 주소가 존재하는 경우 올바르게 포맷하는 경우, 확인 할 수 있습니다.
데이터 유효성 검사 및 세정의 이름을 지정합니다. 이름 서비스로 EasyDQ 지속적으로 당신의 이름을 포맷 않습니다뿐만 아니라, 이름 부분을 맞춤법 오류를 확인하고 해석합니다.
이메일 및 전화 검증 및 정화. 이 서비스는 이메일 도메인이 존재하는지 확인하고, 이메일 및 전화 데이터의 확인을 제공, 해당 국가 코드는 정확하고 훨씬 더 있습니다.

이 버전 2.3의 새로운 기능 :

이 국제 데이터 지원 :
당신이 국제 데이터로 작업하는 경우에, 당신은 예를 들어 중국어 또는 히브리어에 대한 데이터를 다른 문자 집합을 가지고 있습니다. 우리는 당신이 문자 세트가 데이터에 사용되는 알아낼 수있는 프로파일 옵션은 문자 설정 분포 측정을 추가했다.
다른 문자 집합을 포함하는 데이터로 작업하는 것은 문제가 될 수 있습니다. 새로운 음역 변압기를 사용하면 당신은 지금 라틴 문자에 다른 쓰기 시스템에서 문자열을 음역 수 있습니다.
새로운 웹 캐스트 데모는 문서 섹션에서 DataCleaner 2.3의 국제 데이터 기능에 초점을 맞추고도있다.
보조 열을 기준으로 분석 결과의 그룹화 :
패턴 분석기는 이제 두 번째 열을 기반으로 그룹의 패턴 수있다. 이 같은 분석에 유용하다 :
국가별로 그룹화 된 전화 번호의 패턴을 가져옵니다.
전자 메일 도메인을 기반으로 이메일 사용자 이름의 패턴을 가져옵니다.
비슷한 뭔가 값 분포 분석기에 대해 수행되었다; 이 같은 분석이 가능 :
우편 번호별로 그룹화 할 때 모든 도시의 이름은 별개입니까?
특정 고객 유형 내에서 성별 분포는 무엇입니까?
향상된 차트 :
패턴 찾기 결과는 지금 차트에 표시 할 수 있습니다. 이 분포가 볼 수있게하고, & quot의 양을 보여줍니다 긴 꼬리 & quot을; 패턴의가있다.
값 분포 분석기의 출력 영역의 몇 향상되었습니다
차트의 가독성이 향상되었습니다.
행에 존재하는 서로 다른 값의 수 : 이들 행 위에 행의 총 수와 구별 카운트를 나타낸다. 이것은 중복 값이​​ 존재하는 빈도를 파악하는 데 도움이됩니다.
빈 문자열이있는 경우이를 인식하기 쉽게 때문에, 우리는 그것을 키워드를 사용한다.
산출:
이미 존재하는 출력 형식 (CSV 파일 및 H2의 데이터 저장소)에 다음에 우리는 Excel 스프레드 시트에 출력을 기록했다.
데이터 저장소에 기록 후, 당신은 출력이 당신의 기대에 따라 여부를 확인 할 수 있도록 출력을 미리 볼 수있게되었습니다.
새로운 작업을위한 입력으로서 사용될 수 있도록, 새로운 데이터 저장소로의 출력을 추가하고 현재 가능하다.
기타 개선 사항 :
문서는 일반적으로 개선되었습니다. 특히, 로깅 및 명령 줄 인터페이스 설명이 추가되었습니다.
확장 메커니즘은 응용 프로그램의 여러 조각을 모듈화 및 확장 개발자를위한 일반적으로 사용 가능한 의존성 주입 프레임 워크로 구글 Guice를 도입하여 개선되었습니다.
그리고 물론 우리는 개선 및 버그 수정 스무 개 이상의 작은 않았다.

버전 2.2의 새로운 기능 :

이 릴리스에 대한 주요 드라이버는 확장에 대해 이야기하고있다. ExtensionSwap : 응용 프로그램을 해제하는 동안 우리는 simultaniously 중요한 새로운 영역을 특색 짓는 새로운 DataCleaner 웹 사이트를 공개하고 있습니다. ExtensionSwap의 개념은 단순히 브라우저에서 버튼을 클릭하여 DataCleaner 및 설치에 대한 확장의 공유를 허용하는 것입니다!
DataCleaner 확장 API는 가능한 자신의 변압기, 분석기 및 필터를 생성하고,이 릴리스에서 많이 향상되었습니다. 당신이 당신의 확장은 다른 사용자가 관심을 가질 수 느끼는 경우, ExtensionSwap에서 공유하세요 당신이 쉽게 수천 명의 사용자에게 배포하기 위해 우리는 채널을 제공합니다. 확장 API와 ExtensionSwap 더 관심이있는 개발자 및 기타 기술 전문가를위한 우리의 새로운 웹 캐스트 데모에 설명되어 있습니다.
인간의 추론 자연 언어 처리 DQ 웹 서비스를 기반으로, 고급 이름, 전화 및 이메일 클렌징을 제공 DataCleaner 확장에 대한 HIquality 연락처 : 우리는 또한 ExtensionSwap에 초기 확장 세트를 출시한다. 우리는 또한 확장 개발 자체를 시도하고자하는 개발자를위한 예제로 제공하는 샘플 확장을 출하하고 있습니다. 다음 달에 우리는 우리가 인간의 추론의 지식을 수집 팀에서 사용하는 도구의 내부 포트폴리오에서 발생하는 더 많은 확장을 게시 할 수 있는지 확인합니다.
확장 성 외에도 우리는 또한 임베디드 기능에 초점을 맞추고있다. 우리는 어디 프로파일 링 및 데이터 분석을 가능하게하는 다른 응용 프로그램에 쉽게 DataCleaner을 포함 할 수 있도록하려면! 우리는 응용 프로그램이 DataCleaner 번들 및 동적 구성으로 부트 스트랩 또는 & quot에서 실행할 수있는 새로운 부트 스트랩 API 만든, 응용 프로그램이 단지 하나의 데이터 저장소를 검사하는 방향으로 조정되어 단일 데이터 저장소 모드 & quot을 ;, (일반적으로 응용 프로그램에 의해 정의 그) DataCleaner을 포함합니다. 다른 오픈 소스 응용 프로그램뿐만 아니라 상용 응용 프로그램에서 모두 - 우리는 이미 작품 DataCleaner를 포함 몇 가지 정말 흥미로운 경우가 있습니다.
우리는 SAS 데이터 세트를 분석에 대한 지원을 추가했습니다. 이것은 우리가 우리와 우리의 지식, 최초의 주요 오픈 소스 응용 프로그램이 궁극적으로 SAS 사용자를 많이 해방, 이러한 기능을 제공하는 아주 자랑스럽게 생각합니다 무언가이다. 는 SAS 상호 운용성 부분은 별도의 프로젝트, SassyReader로 만든, 그래서 우리는 너무 빨리 DataCleaner의 무료 오픈 소스 커뮤니티의 채택을 볼 것으로 예상!
고정 폭 파일 : 우리는 또한 데이터 저장소의 또 다른 유형에 대한 지원을 추가했습니다. 고정 폭 파일은 각 열은 고정 폭 텍스트 파일입니다. CSV 파일과 같은 더 분리 또는 인용 문자가 없다, 대신 각 줄의 길이는 동일하고 각 줄은 값 길이의 설정에 따라 토큰 화됩니다.
옵션이를 & quot; 불일치 & quot 실패; CSV 파일과 고정 폭 파일 데이터 저장소에 추가되었습니다. 이러한 텍스트 파일 기반 데이터 저장소를 사용하는 경우 이러한 플래그는 형식 무결성 검사를 추가 할 수 있습니다.
버그가 CSV 데이터 저장소를 편집 할 때의 사용자 인터페이스에 유지되지 않는 CSV 구분 설정을 일으킨 고정 하였다.
일본과 다른 문자는 사용자 인터페이스에서 지원되지 않습니다. 이 & quot; 버그 & quot; 시스템에서 사용 가능한 글꼴을 조사하고 특정 문자를 렌더링 할 수있는 글꼴을 선택하는 문제였다. 가장 현대적인 시스템에서 할 수있는 글꼴을 사용할 수있을 것입니다,하지만 일부 유닉스 / 리눅스 나뭇 가지에 여전히 한계가있을 수 있습니다.
문서 섹션이 업데이트되었습니다! 이제까지 초기 2.0 릴리스 이후 문서는 멀리 뒤에 있었지만, 우리는 마침내 날짜에 일 어설 수있었습니다했습니다. 이 워드 프로세서에서 빠진 부분은 여전히​​ 있지만, 확실히 기본적인 사용법뿐만 아니라 대부분의 항목에 대한 기준에 유용합니다.
응용 프로그램 시작 시간이 설정 하중 병렬화에 의해 초기 화면 표시에 필요하지 않은 구성의 그 부분의 초기화를 지연시킴으로써 향상되었다.
이 꽤 실험이었고, 개념 증명 및 고급 일치 분석기를 만들 수있는 지역 사회에 전채 요리로 주로 역할로 발음 유사성을 찾기 분석기, 주요 유통에서 제거되었습니다. 이제 찾아 ExtensionSwap의 발음 유사성 찾기를 설치할 수 있습니다.
취소 또는 errornous 작업 처리를 개선하고, 사용자 인터페이스는 작업이 중지 된 경우, 버튼 및 진행 표시기를 비활성화하여 더 정확하게 응답한다.
테이블 크기 조정 및 스크롤의 사용에 관한 몇 가지 사소한 UI 문제가 수정되었습니다.

이 향상 :

이 버전 2.1.1의 새로운 기능입니다 :
데이터 스토어 목록 검색 / 필터링 텍스트 필드를 추가했습니다. 이렇게하면 화면에서 사용할 수보다 더 많은 데이터 스토어를 등록한 경우 신속하게 데이터 저장소를 찾을 수 있습니다.
국가 코드에 대한 참조 데이터는 표준 분포에 추가 된 덕분에이를 제공하기위한 그레이엄 린드로 이동합니다.
10 개 이상의 열이의 창 미리보기 데이터에 가로 스크롤 막대를 추가했습니다.
옵션의 새로운 기능이 실행시에 대화와 확장 패키지를 추가 할 수있는 기능. 확장에 더 초점은 향후 릴리스에 따릅니다.
우리는 당신이 사용하여 응용 프로그램을 호출 할 수 있도록하여 우리의 명령 줄 인터페이스 (CLI)의 초기 미리보기를 노출 한 & quot; -usage & quot; CLI를 옵션이 표시됩니다 매개 변수입니다.
에 서식 옵션을 추가 번호 & quot; 번호 하 '로 변환; 변신 로봇.
버그 수정:
컬럼의 LOT (150 +)와 함께 테이블을 조회 할 때 메모리 부족 문제가 해결되었습니다.
원인이되는 문제를 수정했습니다 & quot; 제한 분석 & quot; 작업이 저장 한 후 다시 열릴 때 체크 박스를 선택하면 제대로 확인되지 않을 수 있습니다.
아니 정말 공식적인 기능 적이 없지만, 같은 버그 수정 이제 우리는 DataCleaner 이전 버전의 사용자 환경 설정합니다 (userpreferences.dat 파일) 복원을 지원합니다.

이 버전 2.1의 새로운 기능 :

(미디어 페이지를 참조하십시오) 사용자 인터페이스에서 수행 많은 일이 있었다 :
우리는 환경 설정 옵션을 포함하는 좌측 창을 제거하기로 결정했다.
사용자는 단지 작업을 구축하기 위해 필요한 모든 상호 작용하는 하나의 윈도우에 초점을 갖도록하는 대신 모든 옵션은 현재 작업 건물 창으로 이동되었다.
환영 / 로그인 대화도에서 뽑아 또는 기본 창에서 숨길 수 있습니다 더 분리 된 패널에 찬성 제거되었습니다.
데이터 저장소의 선택 및 관리은 메인 윈도우 처리하는 첫 번째 단계는도 왜 어플리케이션에서, 제 활성으로 간주된다.
당신이 완료되기 전에 뭔가를 변경하려는 경우에는 이제 작업을 중지 할 수 있습니다.
바 라인 차트는 문자열 분석기, 번호 분석기, 날짜 / 시간 분석기 및 평일 분포 (미디어 페이지 참조)를 포함한 분석 결과 화면을 많이 추가되었다.
모든 & quot; 미리보기 데이터 & quot; 당신이 데이터 세트에서 앞뒤로 이동할 수 있습니다 창은 이제 페이징 컨트롤이 포함되어 있습니다.
가장 일반적인 데이터베이스 드라이버 (MySQL은, PostgreSQL을, 오라클, MS SQL Server 및 Sybase는) 드라이버의 기본 설정에 추가되었습니다.
옵션 대화 상자의 빠른 분석 기능의 구성.
다양한 사소한 버그 수정.
날짜 열에서 날짜 부분 (년, 월, 일 등)을 추출하기위한 변압기.

이 버전 2.0.2의 새로운 기능입니다 :

이 어떤 소스 컬럼이 선택되어 있지 않은 경우 탭 및 워크 벤치에서 버튼을 사용할 수 없습니다.
소스 & quot; 특별한 위젯이 하 '이 추가되었습니다; 탭 매우 쉽게 입력 데이터의 행의 수를 기반으로 샘플링을 적용 할 수있다.
가능하면, 필터는 현재 작업의 쿼리를 최적화 할 수있는 능력이 (일명. 압하 최적화). 이것은 구현 된 & quot; 최대 행 & quot ;, & quot; & quot 같음; 및 quot; 널 & 없음의; 필터.
변압기 추가 & quot; 변압기의 증가 금액은 & quot에서 긴 목록의 원인; 팝업. 따라서 변압기는 이제 범주별로 그룹화하고 그에 따라 표시됩니다.
실행 흐름의 가시화는 이제 특히 매우 큰 작업에 대해, 그래프는 더 이해하게 열 항목 및 필터 결과 항목을 제거 할 수 있습니다.
& quot; 병합 문자열 & quot; 변압기가 지금 가지고있는 & quot; 널 바와 같이 빈 문자열을 고려; CSV 파일을 처리 할 때 특히 유용 플래그입니다.
파일들이 변화에서 읽을 경우 텍스트 기반 사전 및 동의어 카탈로그는 캐시 값은 플러시 얻을 것이다.
& quot; 날짜 하 '로 변환; 변압기는 현재 날짜 문자열이 필요한 경우, 자신의 날짜 마스크를 지정하는 기능이 포함되어 있습니다.
상기 이메일 표준화기로에 null 값을 전달할 때 버그가 수정되었습니다.