데브포유

MariaDB ColumnStore에 대용량 데이터를 적재하면 자동으로 파티셔닝 됩니다. TIP 1. 선두 컬럼이 중요한 역할을 하며, 숫자형이나 날짜형으로 하면 좋다고 이전 글에서 알려드린적이 있습니다. 오라클에서도 마찬가지이지만 파티셔닝된 테이블을 사용할 때는 왠만하면 파티셔키가 되는 컬럼 값을 조회 조건에 넣어 주는게 성능에 유리합니다. ex) 주문월(int(6))로 파티셔닝 된 테이블을 고객 번호로 주문 내역을 조회할 경우... -------------------------------------------------------------------------------------------------- select * from 주문 where 고객번호 = '100000' and 주문월 betwee..

MariaDB ColumnStore 커뮤니티 버전에서도 "파티션 테이블"을 사용할 수 있습니다. CockroachDB에서는 엔터프라이즈 버전에서만 사용할 수 있습니다. 그럼 MariaDB ColumnStore에서 지원하는 "파티션 테이블" 특징은 나열해 보겠습니다. 1. MariaDB ColumnStore는 모든 열에서 논리적 수평 파티션을 자동으로 생성됨 2. 1개의 파티션은 2개의 익스텐트로 구성되며, 각각의 익스텐트에는 8백만 rows 가 저장됨. 3. 맨 앞에 위치한 컬럼이 파티션 키가 됨. 4. 파티션 키는 숫자(int), 날짜(date)를 사용할 때 파티션 Min, Max 값이 잘 구분되어 짐. 파티션 구성 조회 1) select calShowPartitions('테이블명','컬럼명'); 2)..

MariaDB ColumnStore에 Bulk로 데이터를 적재할 때 cpimport 를 사용하게 됩니다. 성능이 어떨까요? 60여개 필드(컬럼) 데이터 1000만건을 import하는 속도가 약 70~80초 정도 소요 됩니다. 대용량 데이터 적재시에 시간을 많이 절약할 수 있습니다. 적재하는 데이터의 종류에 따라서 cpimport 옵션을 적절히 사용해 주시면 효과적입니다. 저는 -s, -E, -C 옵션을 사용해서 "상품명"같이 문자가 마구 섞여 있어서 기본 설정으로 로딩 실패를 해결 했습니다. -s : 필드 구분 문자 (문자 1개로만 사용 가능), 보통 ",", "₩t"를 사용하지 싶습니다. -E: 필드를 완벽히 구분하기 위해서 값을 감싸 주는 문자를 지정할 수 있습니다. : 'A','B','C'

데이터(정보)를 사람이 쉽게 인식하기 위해서 데이터 시각화는 필수 입니다. 제플린이나 타블로등 많은 솔루션이 있지요. 시각화 솔루션 중에서 현재 사용하려고, 연구중인 "Metabase"를 소개해 드립니다. URL = https://www.metabase.com/ Metabase Ask your own questions Explore on your own Easily filter and group your data to find just what you’re looking for, all without ever writing a line of sql or having to wait on a co-worker. See connections It just takes a click to see individua..

​ 컬럼 지향형 DB인 MariaDB ColumnStore에 데이터웨어하우스와 마트를 구성한 후에 메타베이스를 통해서 다양한 데이터를사람이 쉽게 인지할 수 있도록 시각화하고 있습니다.컬럼스토어와 메타베이스가 모두 오픈소스여서 어려운점이 많지만, 하나씩 해결해 나가는 즐거움도 큽니다.

오늘 회사에서 "MariaDB Columnstore" 설치가 완료되어, 이제까지 몽고디비로 적재하던 데이터를 성능 테스트를 위해서 넣어 보았습니다. 적재 속도는 몽고디비 보다 30~50%정도 느렸습니다. 500만건 이상 데이터를 넣고, 다양한 SQL를 작성해서 조회(Select) 테스트를 해보았는데 거의 모든 SQL에서 응답속도가 탁월 했습니다. 좀 더 테스트를 거쳐서 결정해야 겠지만, Sybase IQ를 MariaDB로 변경해도 되겠다는 생각를 했습니다.

마리아디비는 다양한 스토리지엔진를 지원합니다. 회사에서 데이터분석(DW)용으로 사용해볼까 해서 "컬럼스토어 엔진"를 설치해서 테스트하고 있는데, 성능이 잘 나오면 앞으로 쭉 사용하려고 합니다.

사전신청을 해서 지난 금요일에 "MongoDB.Local Seoul"에 참석했습니다. 1주일 전에 MongoDB Korea에서 참석여부를 전화로 물어봐서 참석자가 별로 없어서 관리하시나 했는데, 막상 행사장에 가니 인산인해 였습니다. MongoDB가 주목받고 있음을 실감하게 되었던 순간이었습니다. 개인 일정이 있어서 마지막 세션은 듣지 못했지만, 제가 들었던 세션의 내용은 모두 좋았습니다. 무엇보다도 MongoDB에 대한 애착이 더해지는 경험이 되었습니다. 점심도 맛있는 도시락도 제공이 되었습니다. (감사)