데브포유

2021년 하반기에 팀원들과 함께 아파치 나이파이를 실무에 성공적으로 도입했습니다. 그리고 자연스럽게 StreamSets과 Airflow도 알게 되어서 조금씩 기능 테스트 중입니다.

데이터를 이동시키는 ETL 또는 ELT에 직접 개발한 프로그램을 사용했었는데, 좀더 쉽고 다양한 기능이 있는 "Nifi"를 알게되어서 스터디 중입니다. 회사 서버에 설치하고, 샘플로 여러개의 파이프라인을 만들어 보면서 어떤 기능이 있는지 테스트 중입니다. 2주일 동안 사용해본 느낌은 "Good" ~~~ GreenPlumn과 Nifi가 2021년 하반기 주요 스터디 주제가 될 것 같습니다.

메타베이스를 사용하다 보면 컬렉션, 메트릭, 세그먼트를 생성하게 됩니다. 그리고 필요가 없어지면 Archive로 옮기고 나서 지우게 됩니다. 그런데 가끔 Archive로 옮겨진 것들이 지워지지 않을때가 있습니다. 이때는 직접 h2 db에 접속해서 지워 주면 됩니다. Step 1. 메타베이스 종료 Step 2. h2 데이터베이스에 접속 java -cp metabase.jar org.h2.tools.Shell -url jdbc:h2:./metabase.db -user '' -password '' -driver org.h2.Driver Step 3. 컬렉션, 메트릭, 세그먼트 테이블에서 ARCHIVED 속성이 TRUE인 것 삭제 delete from collection where archived = true;..

Metabase 0.35.x 버전을 잘 사용하고 있었는데, 0.36.x 버전에 제가 기다렸던 기능이 추가되어 업그레이드를 시도 했습니다. 평소처럼 plugins 디렉토리를 지우고, 최신 Metabase 0.36.3 버전을 다운로드 받아서 실행시겼는데 특정 부분에서 홀딩이 되어 더이상 진행이 되지를 않았습니다. 그래서 구글링 결과 아래와 같이 수행하니 정상적으로 업그레이드가 되어 사용할 수 있게 되었습니다. 그리고 항상 작업하기 전 백업은 필수. Step 1. 메타베이스 종료 Step 2. h2 데이터베이스에 접속 java -cp metabase.jar org.h2.tools.Shell -url jdbc:h2:./metabase.db -user '' -password '' -driver org.h2.Dri..

Metabase v0.34에서 MongoDB를 사용할 때도 파라미터 쿼리가 지원이 됩니다. 파리미터 쿼리는 정해진 SQL/MQL에 변수를 만들어 화면에서 입력받아 쿼리를 수행할 수 있는 기능입니다. 쿼리에 {{변수명}} 이렇게 적으면 바로 변수를 설정할 수 있는 패널이 오른쪽에 표시가 됩니다. SQL은 특정 단어를 입력받아서 아래와 같이 like 검색하는게 쉽습니다. brand_name like '코리아%' brand_name like '%코리아%' brand_name like '%코리아% MQL에서는 보통 like 검색시에 아래와 같이 사용하는 데 파리미터 쿼리에서는 동작하지 않습니다. brand_name: /^코리아/ brand_name: /코리아/ brand_name: /코리아$/ 이유는 변수 값이..

2~3년 전부터 몽고디비 네이티브 쿼리에서 파라미터 쿼리가 지원되기를 많은 사용자들이 기다렸는데요. 드디어 v0.34 버전에서 추가 되었습니다. 오늘 다운로드 받아서 테스트 해보니 잘 됩니다. 다만 쿼리 작성 영역에서 커서가 안보이고 타이핑이 되는 현상이 있어서 .. 다음 버전을 기다려야 할 듯 합니다.

------------------------------------- start.sh --------------------------------------- # 리눅스일 경우 export를 통해서 옵션 값 설정 java -jar metabase.jar & --------------------------------------------------------------------------------------- 메타베이스 기본 포트(3000)를 변경하고 싶을 때? -> export MB_JETTY_PORT=8080 HTTP 쿠키를 사용하여 내장 메타베이스 사용자를 인증할 때 세션 타임아웃 주는 방법 -> 세션 타임아웃을 분단위로 설정 "export MAX_SESSION_AGE=60" 기본 값은 20160으로..

DW(OLAP)용 DBMS는 일반적으로 컬럼지향으로 설계된 DBMS가 최적입니다. 대표적으로 SAP IQ(Sybase IQ), MariaDB ColumnStore, Teradata, KDB등 많이 있습니다. 다만 오픈소스로 무료로 사용할 수 있는 DBMS는 수도 적고, 그 중에서도 쉽고 안정적으로 사용할 수 있는 DBMS는 거의 없다고 봐야 합니다. MariaDB ColumnStore v1.2.5에 버그가 발견이 되어, 컬럼 지향이면서 무료인 DBMS를 찾아 보다가 러시아의 검색회사(구글/네이버와 같은) "얀덱스"에서 개발된 "ClickHouse"를 알게 되었습니다. 얀덱스에서 발표하는 내용 뿐만아니라, 다른 웹사이트에서도 조회 성능이 좋다는 글이 많이 있었습니다. 그런데 결정적으로 ClickHouse가..