데브포유

$cond 연산자를 통해서 구현. 필드값이 문자열이면 null처리가 되고, 숫자이면 0도 null처리가 됨. ex) age값이 null이 아니면 그대로 출력하고, null이면 0으로 출력. 즉 $age 값이 boolean 표현식으로 판단할 때 true, false로 분기됨 age:{$cond:["$age","$age",0]} $cond 연산자 사용법 2가지 { $cond: { if: , then: , else: } } { $cond: [ , , ] }

2022년도를 위해서 서버에 Apache Kafka 클러스터를 구성해 보고, 간단한 Producer와 Consumer 를 개발해서 테스트 해보았습니다. 가장 이슈는 회사의 메인 데이터베이스인 오라클에서 변경된 데이터를 어떻게 카프카에 적재할 것인가 입니다. 가장 좋은 방법은 OGG 또는 SharePlex의 Kafka Connector를 사용하는 방법인데 적지않은 비용이 발생합니다. Confluent의 Oracle CDC Connector를 살펴보니 LogMiner 기반으로 CDC를 수행할 수는 있으나 OGG나 SharePlex와 같은 성능을 낼 수 없고, DBMS에 대한 부하는 증가할 것으로 분석 되었습니다. 요즘 바빠서 미국 신규 상장 종목을 잘 보지 않았는데 몇달 전에 Confluent가 상장을 했더..

테스트 환경: 우분투 리눅스에 도커로 각각 데이터베이스 설치 MariaDB ColumnStore 버전: 10.5.12 GreenPlum 버전: 6.13.0 >> 동일한 테이블 스키마 (컬럼 4개)에 각각 1000만건 데이터를 생성한 후에 조회 응답 테스트 >> 평균 2~3배 정도 MariaDB가 빠른 응답을 보여 주었음. 당분간 회사에서 MariaDB ColumnStore를 계속 사용하게 될 것 같습니다. ** 바쁘단 핑계로 미루어 두었던 성능 테스트를 완료하게 되어서 홀가분한 하루입니다. **

Nifi를 도입하게 되면서 알게된 "StreamSets"을 설치해서 몇시간 동안 사용해 보았습니다. UI가 세련되기는 했지만 작은 화면 (노트북 13인치)에서 사용하기에는 많이 불편했습니다. 그리고 간단한 ETL 업무를 Nifi와 동일하게 구현할 경우에는 StreamSets가 더 어렵다고 느겼습니다. 향후 발전 가능성은 StreamSets가 더 높아 보이기는 하지만 현재 기준으로는 Nifi에 더 좋은 점수를 주고 싶습니다. 회사 일로 점점 미루어 지고 있는데 하루빨리 MariaDB ColumStore와 GreenPlumn를 비교 테스트 해봐야 겠습니다. 2021년이 가지전에....

2021년 하반기에 팀원들과 함께 아파치 나이파이를 실무에 성공적으로 도입했습니다. 그리고 자연스럽게 StreamSets과 Airflow도 알게 되어서 조금씩 기능 테스트 중입니다.

데이터를 이동시키는 ETL 또는 ELT에 직접 개발한 프로그램을 사용했었는데, 좀더 쉽고 다양한 기능이 있는 "Nifi"를 알게되어서 스터디 중입니다. 회사 서버에 설치하고, 샘플로 여러개의 파이프라인을 만들어 보면서 어떤 기능이 있는지 테스트 중입니다. 2주일 동안 사용해본 느낌은 "Good" ~~~ GreenPlumn과 Nifi가 2021년 하반기 주요 스터디 주제가 될 것 같습니다.

주식에 한참 빠져있다 다시 정신차림... 요즘에 PostgreSQL과 PostgreSQL 기반으로 분석용 데이터베이스를 만든 GreenPlum을 설치해서 이것 저것 테스트 해보고 있습니다. PostgreSQL은 메타베이스의 기본 데이터베이스였던 "H2"를 대체할 목적으로 스터디 하고 있고, GreenPlum은 MariaDB ColumnStore를 대체할 수 있는지 검증하기 위해서 입니다. MariaDB ColumnStore가 최신 버전에서도 여전히 버그가 존재해서 GPDB가 어느 정도 성능이 나오면 과감하게 변경할 계획입니다. 스터디한 후에 공유할 내용이 있으면 블러그에 게시하겠습니다.