2022년도를 위해서 서버에 Apache Kafka 클러스터를 구성해 보고, 간단한 Producer와 Consumer 를 개발해서 테스트 해보았습니다. 가장 이슈는 회사의 메인 데이터베이스인 오라클에서 변경된 데이터를 어떻게 카프카에 적재할 것인가 입니다. 가장 좋은 방법은 OGG 또는 SharePlex의 Kafka Connector를 사용하는 방법인데 적지않은 비용이 발생합니다. Confluent의 Oracle CDC Connector를 살펴보니 LogMiner 기반으로 CDC를 수행할 수는 있으나 OGG나 SharePlex와 같은 성능을 낼 수 없고, DBMS에 대한 부하는 증가할 것으로 분석 되었습니다. 요즘 바빠서 미국 신규 상장 종목을 잘 보지 않았는데 몇달 전에 Confluent가 상장을 했더..
Nifi를 도입하게 되면서 알게된 "StreamSets"을 설치해서 몇시간 동안 사용해 보았습니다. UI가 세련되기는 했지만 작은 화면 (노트북 13인치)에서 사용하기에는 많이 불편했습니다. 그리고 간단한 ETL 업무를 Nifi와 동일하게 구현할 경우에는 StreamSets가 더 어렵다고 느겼습니다. 향후 발전 가능성은 StreamSets가 더 높아 보이기는 하지만 현재 기준으로는 Nifi에 더 좋은 점수를 주고 싶습니다. 회사 일로 점점 미루어 지고 있는데 하루빨리 MariaDB ColumStore와 GreenPlumn를 비교 테스트 해봐야 겠습니다. 2021년이 가지전에....
메타베이스를 사용하다 보면 컬렉션, 메트릭, 세그먼트를 생성하게 됩니다. 그리고 필요가 없어지면 Archive로 옮기고 나서 지우게 됩니다. 그런데 가끔 Archive로 옮겨진 것들이 지워지지 않을때가 있습니다. 이때는 직접 h2 db에 접속해서 지워 주면 됩니다. Step 1. 메타베이스 종료 Step 2. h2 데이터베이스에 접속 java -cp metabase.jar org.h2.tools.Shell -url jdbc:h2:./metabase.db -user '' -password '' -driver org.h2.Driver Step 3. 컬렉션, 메트릭, 세그먼트 테이블에서 ARCHIVED 속성이 TRUE인 것 삭제 delete from collection where archived = true;..
Metabase 0.35.x 버전을 잘 사용하고 있었는데, 0.36.x 버전에 제가 기다렸던 기능이 추가되어 업그레이드를 시도 했습니다. 평소처럼 plugins 디렉토리를 지우고, 최신 Metabase 0.36.3 버전을 다운로드 받아서 실행시겼는데 특정 부분에서 홀딩이 되어 더이상 진행이 되지를 않았습니다. 그래서 구글링 결과 아래와 같이 수행하니 정상적으로 업그레이드가 되어 사용할 수 있게 되었습니다. 그리고 항상 작업하기 전 백업은 필수. Step 1. 메타베이스 종료 Step 2. h2 데이터베이스에 접속 java -cp metabase.jar org.h2.tools.Shell -url jdbc:h2:./metabase.db -user '' -password '' -driver org.h2.Dri..
Metabase v0.34에서 MongoDB를 사용할 때도 파라미터 쿼리가 지원이 됩니다. 파리미터 쿼리는 정해진 SQL/MQL에 변수를 만들어 화면에서 입력받아 쿼리를 수행할 수 있는 기능입니다. 쿼리에 {{변수명}} 이렇게 적으면 바로 변수를 설정할 수 있는 패널이 오른쪽에 표시가 됩니다. SQL은 특정 단어를 입력받아서 아래와 같이 like 검색하는게 쉽습니다. brand_name like '코리아%' brand_name like '%코리아%' brand_name like '%코리아% MQL에서는 보통 like 검색시에 아래와 같이 사용하는 데 파리미터 쿼리에서는 동작하지 않습니다. brand_name: /^코리아/ brand_name: /코리아/ brand_name: /코리아$/ 이유는 변수 값이..
- Total
- Today
- Yesterday
- 화분벌레
- Life Chair
- Pixel Pals
- 빈센트 반 고흐
- JMW 헤어드라이기기
- Sybase IQ
- VARIDESK
- 증권정보포털
- 파나소닉 비데 DL-EH10KWS
- 코라나 19
- 고체 향수
- 루미큐브 종류
- 솔리드 쿨론
- yugabyteDB
- 매직 트랙패드2
- GKRS
- 별잉 빛나는 밤
- 로니카 BCS
- 톡토기
- 유가바이트디비
- 오미크론
- 배당급
- 카카오 에드
- node.js
- 홈 오피스
- 별이 빚나는 밤
- weka
- 남설 팔찌
- 브리다 정수기
- 르세라핌
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |