데브포유

------------------------------------- start.sh --------------------------------------- # 리눅스일 경우 export를 통해서 옵션 값 설정 java -jar metabase.jar & --------------------------------------------------------------------------------------- 메타베이스 기본 포트(3000)를 변경하고 싶을 때? -> export MB_JETTY_PORT=8080 HTTP 쿠키를 사용하여 내장 메타베이스 사용자를 인증할 때 세션 타임아웃 주는 방법 -> 세션 타임아웃을 분단위로 설정 "export MAX_SESSION_AGE=60" 기본 값은 20160으로..

DW(OLAP)용 DBMS는 일반적으로 컬럼지향으로 설계된 DBMS가 최적입니다. 대표적으로 SAP IQ(Sybase IQ), MariaDB ColumnStore, Teradata, KDB등 많이 있습니다. 다만 오픈소스로 무료로 사용할 수 있는 DBMS는 수도 적고, 그 중에서도 쉽고 안정적으로 사용할 수 있는 DBMS는 거의 없다고 봐야 합니다. MariaDB ColumnStore v1.2.5에 버그가 발견이 되어, 컬럼 지향이면서 무료인 DBMS를 찾아 보다가 러시아의 검색회사(구글/네이버와 같은) "얀덱스"에서 개발된 "ClickHouse"를 알게 되었습니다. 얀덱스에서 발표하는 내용 뿐만아니라, 다른 웹사이트에서도 조회 성능이 좋다는 글이 많이 있었습니다. 그런데 결정적으로 ClickHouse가..

다음과 같은 오픈소스를 활용하면 쉽고 빠르게 매트릭스 모니터링(시각화, 알림) 시스템을 구현할 수 있습니다. Telegraf : 매트릭스 수집 후 DB에 저장 InfluxDB: Telegraf에서 수집된 데이터를 저장하는 시계열 데이터베이스 Grafana: InfluxDB에서 데이터를 가져와 다양한 그래프로 대시보드 구성 및 Alert 구현 오늘은 InfluxDB를 로컬 컴퓨터에 설치하고, CR(ud)를 해보았습니다. CRUD에서 ud를 소문자로 설명한 것은 InfluxDB는 기본 사상이 입력한 데이터를 수정/삭제하는 것을 지양하도록 설계된 데이터베이스이기 때문입니다. RDBMS vs InfluxDB 비교 RDBMS InfluxDB Database Database Table Measurement Row ..

이제까지 개발한 ETL를 모두 "아파치 카프카"를 중심으로 다시 개발하는 것이 2020년 새해 첫 번째 목표입니다. 오라클(OLTP), 웹로그 등 다양한 데이터소스에서 타켓 DB(몽고디비, 코크로치디비, 마리아디비, ...)로 데이터를 옮기는 ETL이 중복 개발 되었습니다. 프로그램을 수정해서 2개의 프로그램으로 재 개발하는 것보다 카프카를 이용해서 심플하면서, 고가용성 있게 다시 개발하는 것이 시스템 관리에 더 낫다고 판단이 되어졌습니다.

1위 MongoDB => 최근 2~3년 동안 관심을 많이 가졌던 녀석인데, 드디어 우리나라에서 꽃을 피우는 것 같아서 1위로 선정. 9월에 MongoDB Local. Seoul에 참석했던 기억이 오래 오래 남을 것 같다. 2위 CockroachDB => 처음부터 클라우드 환경을 고려해서 만든 데이터베이스라서 이제까지 접해보지 못했던 다양한 기능들이 나를 더 성장시켜 줘서 2위로 선정. "Simple is best"가 생각나게 하는 녀석이고, 아마 MongoDB 다음으로 DBMS제품으로 성공할 것 같은 느낌. 3위 MariaDB ColumnStore => SAP IQ(Sybase IQ)와 비슷한 녀석인데, 이 것은 무료(Free) 말이 필요 없고, 저 비용으로 데이터웨어하우스가 필요한 기업은 무조건 도입해..

데이터(정보)를 사람이 쉽게 인식하기 위해서 데이터 시각화는 필수 입니다. 제플린이나 타블로등 많은 솔루션이 있지요. 시각화 솔루션 중에서 현재 사용하려고, 연구중인 "Metabase"를 소개해 드립니다. URL = https://www.metabase.com/ Metabase Ask your own questions Explore on your own Easily filter and group your data to find just what you’re looking for, all without ever writing a line of sql or having to wait on a co-worker. See connections It just takes a click to see individua..

​ 컬럼 지향형 DB인 MariaDB ColumnStore에 데이터웨어하우스와 마트를 구성한 후에 메타베이스를 통해서 다양한 데이터를사람이 쉽게 인지할 수 있도록 시각화하고 있습니다.컬럼스토어와 메타베이스가 모두 오픈소스여서 어려운점이 많지만, 하나씩 해결해 나가는 즐거움도 큽니다.

국산 In-Memory DBMS의 대표주자인 "알티베이스"가 오픈소스로 전환이 되었습니다. (뒷북) 요즘 당면한 문제를 해결하기 위해서 "Redis", "CockroachDB", "MariaDB"등 여러가지 DBMS 제품을 검토하다가 알티베이스가 오픈소스로 전환이 된 사실을 알게 되었습니다. 글로벌 트렌드에 맞게 일반버전(커뮤니티)은 오픈소스로 공개하고, 엔터프라이즈급은 유료 라이센스를 취하는 방식을 선택한 듯 보입니다. 리눅스 버전만 다운로드 받을 수 있습니다. 오늘 다운로드 받아서 설치해 보았습니다. (굿)