데브포유

테스트 환경: 우분투 리눅스에 도커로 각각 데이터베이스 설치 MariaDB ColumnStore 버전: 10.5.12 GreenPlum 버전: 6.13.0 >> 동일한 테이블 스키마 (컬럼 4개)에 각각 1000만건 데이터를 생성한 후에 조회 응답 테스트 >> 평균 2~3배 정도 MariaDB가 빠른 응답을 보여 주었음. 당분간 회사에서 MariaDB ColumnStore를 계속 사용하게 될 것 같습니다. ** 바쁘단 핑계로 미루어 두었던 성능 테스트를 완료하게 되어서 홀가분한 하루입니다. **

Nifi를 도입하게 되면서 알게된 "StreamSets"을 설치해서 몇시간 동안 사용해 보았습니다. UI가 세련되기는 했지만 작은 화면 (노트북 13인치)에서 사용하기에는 많이 불편했습니다. 그리고 간단한 ETL 업무를 Nifi와 동일하게 구현할 경우에는 StreamSets가 더 어렵다고 느겼습니다. 향후 발전 가능성은 StreamSets가 더 높아 보이기는 하지만 현재 기준으로는 Nifi에 더 좋은 점수를 주고 싶습니다. 회사 일로 점점 미루어 지고 있는데 하루빨리 MariaDB ColumStore와 GreenPlumn를 비교 테스트 해봐야 겠습니다. 2021년이 가지전에....

2021년 하반기에 팀원들과 함께 아파치 나이파이를 실무에 성공적으로 도입했습니다. 그리고 자연스럽게 StreamSets과 Airflow도 알게 되어서 조금씩 기능 테스트 중입니다.

데이터를 이동시키는 ETL 또는 ELT에 직접 개발한 프로그램을 사용했었는데, 좀더 쉽고 다양한 기능이 있는 "Nifi"를 알게되어서 스터디 중입니다. 회사 서버에 설치하고, 샘플로 여러개의 파이프라인을 만들어 보면서 어떤 기능이 있는지 테스트 중입니다. 2주일 동안 사용해본 느낌은 "Good" ~~~ GreenPlumn과 Nifi가 2021년 하반기 주요 스터디 주제가 될 것 같습니다.

주식에 한참 빠져있다 다시 정신차림... 요즘에 PostgreSQL과 PostgreSQL 기반으로 분석용 데이터베이스를 만든 GreenPlum을 설치해서 이것 저것 테스트 해보고 있습니다. PostgreSQL은 메타베이스의 기본 데이터베이스였던 "H2"를 대체할 목적으로 스터디 하고 있고, GreenPlum은 MariaDB ColumnStore를 대체할 수 있는지 검증하기 위해서 입니다. MariaDB ColumnStore가 최신 버전에서도 여전히 버그가 존재해서 GPDB가 어느 정도 성능이 나오면 과감하게 변경할 계획입니다. 스터디한 후에 공유할 내용이 있으면 블러그에 게시하겠습니다.

We’re rebranding PrestoSQL as Trino Dec 27, 2020 • Martin Traverso, Dain Sundstrom, David Phillips PrestoSQL이 Trino로 변경되었습니다. 홈페이지도 prestosql.io -> trino.io 로 변경. 처음에는 Preso의 원조인 PrestoDB(prestodb.io)를 사용하면서 "Oracle Connector"가 없어서 고생좀 하다가 PrestoSQL로 변경하여 사용했습니다. (2020년 말부터는 PrestoDB도 Oracle Connector 지원) 원조를 좋아하는 성격이라 PrestoSQL를 잘 사용하고 있으면서도 PrestoDB가 버전이 나오면 설치해서 사용해 봤습니다. 그리고 최근에 제가 내린 결론 몇가지..

작년에 포스팅 했던 "MariaDB ColumnStore Union/Union All 관련 버그"도 해결이 되었나 테스트 했습니다. SELECT * FROM ( SELECT * FROM ( SELECT a, b FROM 컬럼스토어_테이블 UNION ALL SELECT a, b FROM 컬럼스토어_테이블 ) V1 ) V2 증상) V1까지는 데이터가 깨지지 않는데, V2를 조회하면 a,b 값이 마구 섞여져 조회가 됩니다. 10.5.8 버전에서 테스트 결과 데이터가 정상적으로 조회 되었습니다.