데브포유

Oracle Connector Limitations# The following SQL statements are not yet supported: DELETE GRANT REVOKE SHOW GRANTS SHOW ROLES SHOW ROLE GRANTS 위에 있는 기능은 사용할 수 없지만, 예전처럼 번거럽게 GitHub에 있는 소스로 Oracle Connector를 빌드할 필요가 없습니다. java 11+ 가 있어야 사용할 수 있습니다.

Starburst에서 제공하는 Presto 버전에는 Oracle Connector (plugin)가 있습니다. 그러나 Oracle Connector를 사용하려면 엔터프라이즈 버전(유료)에만 기능이 있어서 presto.io에서 제공하는 것과 별반 다르지 않습니다. 재직중인 회사에서 기간계는 Oracle 11g를 사용하고, DW는 MaraiaDB ColumnStore와 MongoDB를 사용하고 있습니다. 자체 개발한 ETL프로그램으로 Oracle -> MongoDB, Oracle -> MariaDB, MongoDB -> MariaDB로 데이터를 이관하고 있는 데, 가끔 이기종 DBMS간에 데이터를 비교(검증)할 일이 발생합니다. 그럴때마다 데이터를 비교(검증)하는 일에 적지 않은 시간을 소비하곤 했는데요. ..

Presto v0.234.2 용 Oracle Plugin 소스 입니다. Presto v0.223 버전용 소스를 GitHub에서 받아서 제가 사용중인 v0.234.2 용으로 조금 수정되었습니다. Oracle 11g용이며, 소스를 받으신 후에 메이븐에 ojdbc를 수동으로 등록하시고, 빌드 하시면 됩니다. 기본적인 동작은 잘 되었습니다.

Presto를 설치하고 MongoDB와 MariaDB ColumnStore DB를 연결해서 사용해 보았습니다. MongoDB는 MQL대신에 Presto를 사용하면 SQL로 CRUD를 모두 수행할 수 있어서 좋았습니다. 그리고 분석함수도 지원이 되어서 MQL에서 지원하지 않은 기능을 사용할 수 있는 것도 장점으로 생각됩니다. MariaDB ColumnStore는 SQL작성시 제약이 조금 많은 데, Presto를 통해서 사용하면 거의 모든 문제가 해결이 되었습니다. 다만 SQL에 따라서 성능의 편차는 많았습니다. 당연히 Group By와 같은 작업도 원 DBMS에서 처리하는게 유리하지 Presto 엔진으로 데이터를 가져와서 수행하면 느리겠지요. Presto에서는 Push Down이라고 표현을 하던데 Pres..

Presto관련 첫번째 책이 출간되었습니다. 아마존이나 예스24에서도 구입할 수 있지만, 공식적으로 디지털 사본을 받을 수 있어서 소개해 드립니다. 아래 사이트로 들어가셔서 몇가지 정보만 입력하면 다운로드 받을 수 있습니다. 예스24에서는 약 8만원 정도에 구입할 수 있습니다. 오늘 회사에서 구입할까 말까 고민 했었는 데, 이렇게 무료로 받을 수 있어서 기분이 좋습니다. Presto에 대해서 알고 싶은 분들은 어서 받으세요. Presto 공식 매뉴얼이 조금 부족한 면이 있는 데, 이책이 조금 채워 줄 수 있을 것 같습니다. URL = Presto-The-Definitive-Guide

MongoDB는 NoSQL 데이터베이스로 SQL이 아닌 MQL이라는 자체 쿼리 언어를 사용합니다. MQL도 자주 사용하다 보면은 익수해 지지만 SQL에 이미 익숙한 사용자는 MQL를 배우는 것이 다소 어색하고, 어려울 수 있습니다. Presto는 페이스북에서 만든 SQL 쿼리 엔진 입니다. Presto는 데이터 저장소(DB)를 커넥터를 통해 다양하게 사용할 수 있습니다. MongoDB도 커넥터를 통해서 접근 가능 합니다. 즉 SQL로 MongoDB 데이터를 조회할 수 있다는 의미 입니다. 이번주에 여유시간이 조금 있어서 회사에 구축한 MongoDB 클러스터에 Presto를 연동해 보았습니다. Presto download = prestodb.io/download.html Presto | Download D..

19.2 버전 이후로 잠시 사용을 하고 있지 않았는데, 새로 릴리즈된 20.1 버전으로 클러스터를 구성해서 테스트 해봐야 겠습니다. CockroachDB는 생각보다 쓸만합니다. MongoDB처럼 널리 널리 사용되면 좋겠습니다. In CockroachDB 20.1 you can now: Get the flexibility and agility of changing primary keys while your app is online, with the new online primary key changes feature Quickly troubleshoot application issues with various new monitoring updates, including a slow query log, SQ..

db.test.aggregate( [ {$project:{ _id:0, age:{$literal:0}} } ] ) * Projection에서 include, exclude를 구분해주는 0, 1이 아니라 상수 값으로 특정 필드에 0, 1 값을 사용하고 싶을 때는 $literal 연산자를 사용하면 됩니다.