데브포유

MariaDB CS(ColumnStore)에 데이터를 빠르게 적재하는 방법은 "cpimport"를 사용하는 것입니다. 대용량일 경우에는 당연히 "cpimport"사용을 최우선으로 하는게 맞습니다. 문제는 너무 크지 않은 데이터를 MariaDB에 insert하고, update할 때 입니다. insert는 Multiple Insert 문를 직접 생성해 주거나, JDBC Driver URL 옵션 중 "rewritebatchedstatements=true" 통해서 JDBC Batch를 자동으로 Multiple Insert문으로 변경해 주는 기능을 사용하면 성능을 끌어 올릴 수 있습니다. 문제는 update 입니다. MariaDB CS에서는 update문을 벌크로 수행하는 기능을 찾을 수 없었습니다. 혹시 알고 ..

MariaDB ColumnStore에 대용량 데이터를 적재하면 자동으로 파티셔닝 됩니다. TIP 1. 선두 컬럼이 중요한 역할을 하며, 숫자형이나 날짜형으로 하면 좋다고 이전 글에서 알려드린적이 있습니다. 오라클에서도 마찬가지이지만 파티셔닝된 테이블을 사용할 때는 왠만하면 파티셔키가 되는 컬럼 값을 조회 조건에 넣어 주는게 성능에 유리합니다. ex) 주문월(int(6))로 파티셔닝 된 테이블을 고객 번호로 주문 내역을 조회할 경우... -------------------------------------------------------------------------------------------------- select * from 주문 where 고객번호 = '100000' and 주문월 betwee..

MariaDB ColumnStore 커뮤니티 버전에서도 "파티션 테이블"을 사용할 수 있습니다. CockroachDB에서는 엔터프라이즈 버전에서만 사용할 수 있습니다. 그럼 MariaDB ColumnStore에서 지원하는 "파티션 테이블" 특징은 나열해 보겠습니다. 1. MariaDB ColumnStore는 모든 열에서 논리적 수평 파티션을 자동으로 생성됨 2. 1개의 파티션은 2개의 익스텐트로 구성되며, 각각의 익스텐트에는 8백만 rows 가 저장됨. 3. 맨 앞에 위치한 컬럼이 파티션 키가 됨. 4. 파티션 키는 숫자(int), 날짜(date)를 사용할 때 파티션 Min, Max 값이 잘 구분되어 짐. 파티션 구성 조회 1) select calShowPartitions('테이블명','컬럼명'); 2)..

MariaDB ColumnStore에 Bulk로 데이터를 적재할 때 cpimport 를 사용하게 됩니다. 성능이 어떨까요? 60여개 필드(컬럼) 데이터 1000만건을 import하는 속도가 약 70~80초 정도 소요 됩니다. 대용량 데이터 적재시에 시간을 많이 절약할 수 있습니다. 적재하는 데이터의 종류에 따라서 cpimport 옵션을 적절히 사용해 주시면 효과적입니다. 저는 -s, -E, -C 옵션을 사용해서 "상품명"같이 문자가 마구 섞여 있어서 기본 설정으로 로딩 실패를 해결 했습니다. -s : 필드 구분 문자 (문자 1개로만 사용 가능), 보통 ",", "₩t"를 사용하지 싶습니다. -E: 필드를 완벽히 구분하기 위해서 값을 감싸 주는 문자를 지정할 수 있습니다. : 'A','B','C'

오늘 회사에서 "MariaDB Columnstore" 설치가 완료되어, 이제까지 몽고디비로 적재하던 데이터를 성능 테스트를 위해서 넣어 보았습니다. 적재 속도는 몽고디비 보다 30~50%정도 느렸습니다. 500만건 이상 데이터를 넣고, 다양한 SQL를 작성해서 조회(Select) 테스트를 해보았는데 거의 모든 SQL에서 응답속도가 탁월 했습니다. 좀 더 테스트를 거쳐서 결정해야 겠지만, Sybase IQ를 MariaDB로 변경해도 되겠다는 생각를 했습니다.

마리아디비는 다양한 스토리지엔진를 지원합니다. 회사에서 데이터분석(DW)용으로 사용해볼까 해서 "컬럼스토어 엔진"를 설치해서 테스트하고 있는데, 성능이 잘 나오면 앞으로 쭉 사용하려고 합니다.