데브포유

주식에 한참 빠져있다 다시 정신차림... 요즘에 PostgreSQL과 PostgreSQL 기반으로 분석용 데이터베이스를 만든 GreenPlum을 설치해서 이것 저것 테스트 해보고 있습니다. PostgreSQL은 메타베이스의 기본 데이터베이스였던 "H2"를 대체할 목적으로 스터디 하고 있고, GreenPlum은 MariaDB ColumnStore를 대체할 수 있는지 검증하기 위해서 입니다. MariaDB ColumnStore가 최신 버전에서도 여전히 버그가 존재해서 GPDB가 어느 정도 성능이 나오면 과감하게 변경할 계획입니다. 스터디한 후에 공유할 내용이 있으면 블러그에 게시하겠습니다.

We’re rebranding PrestoSQL as Trino Dec 27, 2020 • Martin Traverso, Dain Sundstrom, David Phillips PrestoSQL이 Trino로 변경되었습니다. 홈페이지도 prestosql.io -> trino.io 로 변경. 처음에는 Preso의 원조인 PrestoDB(prestodb.io)를 사용하면서 "Oracle Connector"가 없어서 고생좀 하다가 PrestoSQL로 변경하여 사용했습니다. (2020년 말부터는 PrestoDB도 Oracle Connector 지원) 원조를 좋아하는 성격이라 PrestoSQL를 잘 사용하고 있으면서도 PrestoDB가 버전이 나오면 설치해서 사용해 봤습니다. 그리고 최근에 제가 내린 결론 몇가지..

작년에 포스팅 했던 "MariaDB ColumnStore Union/Union All 관련 버그"도 해결이 되었나 테스트 했습니다. SELECT * FROM ( SELECT * FROM ( SELECT a, b FROM 컬럼스토어_테이블 UNION ALL SELECT a, b FROM 컬럼스토어_테이블 ) V1 ) V2 증상) V1까지는 데이터가 깨지지 않는데, V2를 조회하면 a,b 값이 마구 섞여져 조회가 됩니다. 10.5.8 버전에서 테스트 결과 데이터가 정상적으로 조회 되었습니다.

mongoDB는 스키마가 없습니다. 그런데 Presto에서는 조회하는 테이블(컬렉션)의 스키마를 필요로 합니다. 그래서 Presto에서 mongoDB를 연결하게 되면, "_schema" 컬렉션이 mongoDB에 생성이 됩니다. 그리고 컬렉션마다 첫번째 값 기준으로 테이블명과 필드명을 "_schema"에 추가하여 사용하게 됩니다. 즉 나중에 추가된 필드는 반영이 안되어 있기 때문에 그 필드를 Presto에서 조회할 때 인식을 못해서 에러가 나는 것입니다. 해결 책은 "_schema"에 해당 필드 정보를 추가해 주면 됩니다. ex) "orders"라는 컬렉션에 "prdt_nm" 필드를 추가해 주는 예제 입니다. >> 추가 db._schema.update( {table:'orders'}, {$push:{fie..

ColumnStore 1.2.5에서 발생했던 버그 중에서 컬럼값이 한글일 경우 substr 했을 때 잘린 값이 깨져 보이는 현상이 있었는데, 이 버전에서는 해결이 되었는지 테스트 해 보았습니다. 1. 컬럼스토어 테이블 생성 CREATE TABLE `tt_a` ( `trd_ym` int(11) DEFAULT NULL, `name` varchar(80) DEFAULT NULL ) ENGINE=Columnstore DEFAULT CHARSET=utf8mb4 ; 2. 값 넣기 insert into tt_a values ('202011','홍길동'); 3. 값 조회 * substr한 값이 깨지지 않고 조회가 되는걸 보니 해결이 되었습니다.

MariaDB 커뮤니티 서버에 ColumnStore엔진 5.4가 포함되었습니다. 최근에 환경을 구성한 우분투 노트북에 "MariaDB 10.5.8"를 설치해 보았습니다. 설치가이드 = mariadb.com/docs/deploy/community-single-columnstore/ Open Source Database (RDBMS) for the Enterprise | MariaDB MariaDB is the leading enterprise open source database with features previously only available in costly proprietary databases. Enterprise grade, wallet friendly. mariadb.com 위에 나온 순서..

CockroachDB 20.2가 릴리즈 되었습니다. 새로운 버전이 릴리즈 되었는데 제가 이렇게 글을 쓰는 이유는 제가 기다리던 기능이 추가 되어서 입니다 PostGIS 호환 SQL 구문을 사용하여 공간 데이터 저장 및 인덱싱 운영자와 함께 CockroachDB를 패키징하는 Kubernetes 의 새로운 CockroachDB를사용하여 클라우드 네이티브 스택을보다 쉽게 ​​배포하고 관리 할 수 ​​있습니다. 무료 커뮤니티 옵션 인 CockroachDB Core에서 핵심 백업 및 복원 기능 (이전에는 엔터프라이즈 전용)을 사용하십시오. 더 쉬운 디버깅 , 추가 된 SQL 기능 , 향상된 Java 및 Ruby 지원으로 보다 효율적으로 작업 향상된 성능 활용 —CockroachDB 20.2는 1 억 4 천 개의웨..

패스워드 인증을 통해서 Presto를 사용하고자 할경우에 먼저 https 를 사용할 수 있게 구성해야 합니다그리고 패스워드는 아파치 서버에 있는 "htpasswd.exe"를 통해서 생성하면 됩니다.ex) htpasswd.exe -B -C 10 -c 패스워드파일.db presto hackerseve.com/prestodb-cluster-setup/