데브포유

MongoDB나 CockroachDB처럼 데이터베이스 코어만 오픈소스로 운영하는 경우가 많습니다. Community Edition, Enterprize Edition으로 나누어서 제공을 하죠. 소규모라면 Community Edition으로도 사용할 수 있지만, 대규모 서비스를 위해서는 유료 버전인 Enterprize Edition 버전을 이용을 합니다. 일반적으로 Enterprize Edition에는 향상된 보안 / 테이블 파티셔닝 / 실시간 백업 과 같은 기능이 추가로 제공되어 무료에서 유료 사용자로 전환하게 만듭니다. 100% 오픈소스 데이터베이스는 모든 기능을 다 무료로 사용하는 데이터베이스를 말하는데, "yugabateDB"가 대표적입니다. db-engines.com 에서 ranking은 어떨까요..

$cond 연산자를 통해서 구현. 필드값이 문자열이면 null처리가 되고, 숫자이면 0도 null처리가 됨. ex) age값이 null이 아니면 그대로 출력하고, null이면 0으로 출력. 즉 $age 값이 boolean 표현식으로 판단할 때 true, false로 분기됨 age:{$cond:["$age","$age",0]} $cond 연산자 사용법 2가지 { $cond: { if: , then: , else: } } { $cond: [ , , ] }

2022년도를 위해서 서버에 Apache Kafka 클러스터를 구성해 보고, 간단한 Producer와 Consumer 를 개발해서 테스트 해보았습니다. 가장 이슈는 회사의 메인 데이터베이스인 오라클에서 변경된 데이터를 어떻게 카프카에 적재할 것인가 입니다. 가장 좋은 방법은 OGG 또는 SharePlex의 Kafka Connector를 사용하는 방법인데 적지않은 비용이 발생합니다. Confluent의 Oracle CDC Connector를 살펴보니 LogMiner 기반으로 CDC를 수행할 수는 있으나 OGG나 SharePlex와 같은 성능을 낼 수 없고, DBMS에 대한 부하는 증가할 것으로 분석 되었습니다. 요즘 바빠서 미국 신규 상장 종목을 잘 보지 않았는데 몇달 전에 Confluent가 상장을 했더..

테스트 환경: 우분투 리눅스에 도커로 각각 데이터베이스 설치 MariaDB ColumnStore 버전: 10.5.12 GreenPlum 버전: 6.13.0 >> 동일한 테이블 스키마 (컬럼 4개)에 각각 1000만건 데이터를 생성한 후에 조회 응답 테스트 >> 평균 2~3배 정도 MariaDB가 빠른 응답을 보여 주었음. 당분간 회사에서 MariaDB ColumnStore를 계속 사용하게 될 것 같습니다. ** 바쁘단 핑계로 미루어 두었던 성능 테스트를 완료하게 되어서 홀가분한 하루입니다. **

Nifi를 도입하게 되면서 알게된 "StreamSets"을 설치해서 몇시간 동안 사용해 보았습니다. UI가 세련되기는 했지만 작은 화면 (노트북 13인치)에서 사용하기에는 많이 불편했습니다. 그리고 간단한 ETL 업무를 Nifi와 동일하게 구현할 경우에는 StreamSets가 더 어렵다고 느겼습니다. 향후 발전 가능성은 StreamSets가 더 높아 보이기는 하지만 현재 기준으로는 Nifi에 더 좋은 점수를 주고 싶습니다. 회사 일로 점점 미루어 지고 있는데 하루빨리 MariaDB ColumStore와 GreenPlumn를 비교 테스트 해봐야 겠습니다. 2021년이 가지전에....

2021년 하반기에 팀원들과 함께 아파치 나이파이를 실무에 성공적으로 도입했습니다. 그리고 자연스럽게 StreamSets과 Airflow도 알게 되어서 조금씩 기능 테스트 중입니다.

데이터를 이동시키는 ETL 또는 ELT에 직접 개발한 프로그램을 사용했었는데, 좀더 쉽고 다양한 기능이 있는 "Nifi"를 알게되어서 스터디 중입니다. 회사 서버에 설치하고, 샘플로 여러개의 파이프라인을 만들어 보면서 어떤 기능이 있는지 테스트 중입니다. 2주일 동안 사용해본 느낌은 "Good" ~~~ GreenPlumn과 Nifi가 2021년 하반기 주요 스터디 주제가 될 것 같습니다.