데브포유

데이터를 이동시키는 ETL 또는 ELT에 직접 개발한 프로그램을 사용했었는데, 좀더 쉽고 다양한 기능이 있는 "Nifi"를 알게되어서 스터디 중입니다. 회사 서버에 설치하고, 샘플로 여러개의 파이프라인을 만들어 보면서 어떤 기능이 있는지 테스트 중입니다. 2주일 동안 사용해본 느낌은 "Good" ~~~ GreenPlumn과 Nifi가 2021년 하반기 주요 스터디 주제가 될 것 같습니다.

주식에 한참 빠져있다 다시 정신차림... 요즘에 PostgreSQL과 PostgreSQL 기반으로 분석용 데이터베이스를 만든 GreenPlum을 설치해서 이것 저것 테스트 해보고 있습니다. PostgreSQL은 메타베이스의 기본 데이터베이스였던 "H2"를 대체할 목적으로 스터디 하고 있고, GreenPlum은 MariaDB ColumnStore를 대체할 수 있는지 검증하기 위해서 입니다. MariaDB ColumnStore가 최신 버전에서도 여전히 버그가 존재해서 GPDB가 어느 정도 성능이 나오면 과감하게 변경할 계획입니다. 스터디한 후에 공유할 내용이 있으면 블러그에 게시하겠습니다.

We’re rebranding PrestoSQL as Trino Dec 27, 2020 • Martin Traverso, Dain Sundstrom, David Phillips PrestoSQL이 Trino로 변경되었습니다. 홈페이지도 prestosql.io -> trino.io 로 변경. 처음에는 Preso의 원조인 PrestoDB(prestodb.io)를 사용하면서 "Oracle Connector"가 없어서 고생좀 하다가 PrestoSQL로 변경하여 사용했습니다. (2020년 말부터는 PrestoDB도 Oracle Connector 지원) 원조를 좋아하는 성격이라 PrestoSQL를 잘 사용하고 있으면서도 PrestoDB가 버전이 나오면 설치해서 사용해 봤습니다. 그리고 최근에 제가 내린 결론 몇가지..

작년에 포스팅 했던 "MariaDB ColumnStore Union/Union All 관련 버그"도 해결이 되었나 테스트 했습니다. SELECT * FROM ( SELECT * FROM ( SELECT a, b FROM 컬럼스토어_테이블 UNION ALL SELECT a, b FROM 컬럼스토어_테이블 ) V1 ) V2 증상) V1까지는 데이터가 깨지지 않는데, V2를 조회하면 a,b 값이 마구 섞여져 조회가 됩니다. 10.5.8 버전에서 테스트 결과 데이터가 정상적으로 조회 되었습니다.

mongoDB는 스키마가 없습니다. 그런데 Presto에서는 조회하는 테이블(컬렉션)의 스키마를 필요로 합니다. 그래서 Presto에서 mongoDB를 연결하게 되면, "_schema" 컬렉션이 mongoDB에 생성이 됩니다. 그리고 컬렉션마다 첫번째 값 기준으로 테이블명과 필드명을 "_schema"에 추가하여 사용하게 됩니다. 즉 나중에 추가된 필드는 반영이 안되어 있기 때문에 그 필드를 Presto에서 조회할 때 인식을 못해서 에러가 나는 것입니다. 해결 책은 "_schema"에 해당 필드 정보를 추가해 주면 됩니다. ex) "orders"라는 컬렉션에 "prdt_nm" 필드를 추가해 주는 예제 입니다. >> 추가 db._schema.update( {table:'orders'}, {$push:{fie..

ColumnStore 1.2.5에서 발생했던 버그 중에서 컬럼값이 한글일 경우 substr 했을 때 잘린 값이 깨져 보이는 현상이 있었는데, 이 버전에서는 해결이 되었는지 테스트 해 보았습니다. 1. 컬럼스토어 테이블 생성 CREATE TABLE `tt_a` ( `trd_ym` int(11) DEFAULT NULL, `name` varchar(80) DEFAULT NULL ) ENGINE=Columnstore DEFAULT CHARSET=utf8mb4 ; 2. 값 넣기 insert into tt_a values ('202011','홍길동'); 3. 값 조회 * substr한 값이 깨지지 않고 조회가 되는걸 보니 해결이 되었습니다.

MariaDB 커뮤니티 서버에 ColumnStore엔진 5.4가 포함되었습니다. 최근에 환경을 구성한 우분투 노트북에 "MariaDB 10.5.8"를 설치해 보았습니다. 설치가이드 = mariadb.com/docs/deploy/community-single-columnstore/ Open Source Database (RDBMS) for the Enterprise | MariaDB MariaDB is the leading enterprise open source database with features previously only available in costly proprietary databases. Enterprise grade, wallet friendly. mariadb.com 위에 나온 순서..