데브포유

데이터(정보)를 사람이 쉽게 인식하기 위해서 데이터 시각화는 필수 입니다. 제플린이나 타블로등 많은 솔루션이 있지요. 시각화 솔루션 중에서 현재 사용하려고, 연구중인 "Metabase"를 소개해 드립니다. URL = https://www.metabase.com/ Metabase Ask your own questions Explore on your own Easily filter and group your data to find just what you’re looking for, all without ever writing a line of sql or having to wait on a co-worker. See connections It just takes a click to see individua..

​ 컬럼 지향형 DB인 MariaDB ColumnStore에 데이터웨어하우스와 마트를 구성한 후에 메타베이스를 통해서 다양한 데이터를사람이 쉽게 인지할 수 있도록 시각화하고 있습니다.컬럼스토어와 메타베이스가 모두 오픈소스여서 어려운점이 많지만, 하나씩 해결해 나가는 즐거움도 큽니다.

오늘 회사에서 "MariaDB Columnstore" 설치가 완료되어, 이제까지 몽고디비로 적재하던 데이터를 성능 테스트를 위해서 넣어 보았습니다. 적재 속도는 몽고디비 보다 30~50%정도 느렸습니다. 500만건 이상 데이터를 넣고, 다양한 SQL를 작성해서 조회(Select) 테스트를 해보았는데 거의 모든 SQL에서 응답속도가 탁월 했습니다. 좀 더 테스트를 거쳐서 결정해야 겠지만, Sybase IQ를 MariaDB로 변경해도 되겠다는 생각를 했습니다.

마리아디비는 다양한 스토리지엔진를 지원합니다. 회사에서 데이터분석(DW)용으로 사용해볼까 해서 "컬럼스토어 엔진"를 설치해서 테스트하고 있는데, 성능이 잘 나오면 앞으로 쭉 사용하려고 합니다.

사전신청을 해서 지난 금요일에 "MongoDB.Local Seoul"에 참석했습니다. 1주일 전에 MongoDB Korea에서 참석여부를 전화로 물어봐서 참석자가 별로 없어서 관리하시나 했는데, 막상 행사장에 가니 인산인해 였습니다. MongoDB가 주목받고 있음을 실감하게 되었던 순간이었습니다. 개인 일정이 있어서 마지막 세션은 듣지 못했지만, 제가 들었던 세션의 내용은 모두 좋았습니다. 무엇보다도 MongoDB에 대한 애착이 더해지는 경험이 되었습니다. 점심도 맛있는 도시락도 제공이 되었습니다. (감사)

CockroachDB에는 "Admin UI"라는 DBMS 모니터링 기능이 기본으로 포함되어 있습니다. 클러스터 노드 중 아무 곳에 접속해도 됩니다. 오라클 모니터링 솔루션인 "맥스게이지"와 비슷하다고 생각하시면 됩니다. 활성화 되어 있는 노드 정보 및 각각의 노드별 하드웨어 정보, 수행된 쿼리 정보등 생각보다 다양한 정보를 제공하고 있습니다. 이제까지 사용해본 DBMS 중에서 기본으로 이렇게 풍부하게 제공하는 솔루션은 본적이 없었습니다. 오라클의 EM은 노코멘트 ~~~ CockroachDB를 선택하면 Admin UI는 보너스로 사용할 수 있습니다.

CockroachDB에 대용량 데이터를 입력할 때 성능 향상법을 소개해 드립니다. Java로 프로그래밍 할 경우에 JDBC가 RDBMS에 연동하는 표준 방법이죠. 다량의 데이터를 빠르게 처리하는 방법이 바로 JDBC의 Batch를 이용하는 것입니다. PostgreSQL용 jdbc로 CockroachDB에 데이터를 넣고 있었는데 속도가 만족스럽지 않아서 CockroachDB Document에 소개되어 있는 Multiple Insert 방법으로 변경했더니, 변경전보다 약 5~10배 정도 입력 속도가 향상이 되었습니다. 입력속도가 일정하지 않은 것은 CockroachDB가 Store Engine으로 사용하고 있는 "RockDB" 특성 때문입니다. RockDB는 페이스북에서 구글의 " LevelDB"를 가져다가..

CockroachDB는 구글이 만든 "Go 언어"로 개발이 되었습니다. 물론 소스를 보시면 아시겠지만 내부적으로 사용하는 대다수의 라이브러리는 C++로 만들어 졌죠. 제가 Go 언어에 관심이 없었던 이유는 배우는 것은 비교적 쉬워 보이는데, 막상 배워서 사용할 일이 없을 것 같아서 였습니다. 지금도 제 업무상 "Go 를 사용할 일이 있을까" 싶습니다. 그런데 최근에 "CockroachDB"로 미니 프로젝트를 진행하면서 로그 파일에서 자주 "xxx.go" 라는 문구를 접하다 보니 호기심에 "CockroachDB 소스"에서 해당 파일을 찾아 보게 되었습니다. 그런 호기심에 "Go 언어" 관련된 책도 구매를 했네요. "CockroachDB" -> "GoLang " -> "GoLand"로 점점 관심이 옮겨가면서..