데브포유

오늘 휴가로 미루어 두었던 presto-server-339 버전의 Oracle Connector를 테스트 했습니다. PrestoDB 0.237.1 버전을 사용하고 있었는데, Oracle Connector를 디폴트로 제공하고 있지 않아서 이참에 presto-server-339 버전을 테스트한 것입니다. 설정은 prestodb.io에서 제공하는 버전과 똑 같이 설정하면 되었습니다. 테스트 결과는 Presto에서 Oracle접속하는 스키마(유저)에 대해서만 DDL, DML(Select, Insert)을 사용할 수 있었습니다. 그나마 presto-server-338 버전은 버그가 있는지 Oracle Connector는 있는데, 동작하지 않더군요. MariaDB나 MongoDB도 접속해서 테스트해 보았는데, 딱히..

오늘 Presto 버전을 v0.234.2 -> v0.237.1로 업그레이드 했습니다. Oracle Connector도 v0.237.1에 맞게 수정했습니다.

prestodb.io는 페이스북 엔지니어가 presto를 발전시키는 곳이며, prestosql.io는 비영리단체로 많은 개발자들이 presto를 발전시키는 곳입니다. prestodb.io는 0.2xxx 버전이 있고, prestosql.io에는 3xx 버전이 있습니다. prestosql.io에 있는 버전에 제한된 기능이지만 사용할 수 있는 Oracle Connector가 있습니다.

Oracle Connector Limitations# The following SQL statements are not yet supported: DELETE GRANT REVOKE SHOW GRANTS SHOW ROLES SHOW ROLE GRANTS 위에 있는 기능은 사용할 수 없지만, 예전처럼 번거럽게 GitHub에 있는 소스로 Oracle Connector를 빌드할 필요가 없습니다. java 11+ 가 있어야 사용할 수 있습니다.

Starburst에서 제공하는 Presto 버전에는 Oracle Connector (plugin)가 있습니다. 그러나 Oracle Connector를 사용하려면 엔터프라이즈 버전(유료)에만 기능이 있어서 presto.io에서 제공하는 것과 별반 다르지 않습니다. 재직중인 회사에서 기간계는 Oracle 11g를 사용하고, DW는 MaraiaDB ColumnStore와 MongoDB를 사용하고 있습니다. 자체 개발한 ETL프로그램으로 Oracle -> MongoDB, Oracle -> MariaDB, MongoDB -> MariaDB로 데이터를 이관하고 있는 데, 가끔 이기종 DBMS간에 데이터를 비교(검증)할 일이 발생합니다. 그럴때마다 데이터를 비교(검증)하는 일에 적지 않은 시간을 소비하곤 했는데요. ..

Presto v0.234.2 용 Oracle Plugin 소스 입니다. Presto v0.223 버전용 소스를 GitHub에서 받아서 제가 사용중인 v0.234.2 용으로 조금 수정되었습니다. Oracle 11g용이며, 소스를 받으신 후에 메이븐에 ojdbc를 수동으로 등록하시고, 빌드 하시면 됩니다. 기본적인 동작은 잘 되었습니다.

Presto를 설치하고 MongoDB와 MariaDB ColumnStore DB를 연결해서 사용해 보았습니다. MongoDB는 MQL대신에 Presto를 사용하면 SQL로 CRUD를 모두 수행할 수 있어서 좋았습니다. 그리고 분석함수도 지원이 되어서 MQL에서 지원하지 않은 기능을 사용할 수 있는 것도 장점으로 생각됩니다. MariaDB ColumnStore는 SQL작성시 제약이 조금 많은 데, Presto를 통해서 사용하면 거의 모든 문제가 해결이 되었습니다. 다만 SQL에 따라서 성능의 편차는 많았습니다. 당연히 Group By와 같은 작업도 원 DBMS에서 처리하는게 유리하지 Presto 엔진으로 데이터를 가져와서 수행하면 느리겠지요. Presto에서는 Push Down이라고 표현을 하던데 Pres..

Presto관련 첫번째 책이 출간되었습니다. 아마존이나 예스24에서도 구입할 수 있지만, 공식적으로 디지털 사본을 받을 수 있어서 소개해 드립니다. 아래 사이트로 들어가셔서 몇가지 정보만 입력하면 다운로드 받을 수 있습니다. 예스24에서는 약 8만원 정도에 구입할 수 있습니다. 오늘 회사에서 구입할까 말까 고민 했었는 데, 이렇게 무료로 받을 수 있어서 기분이 좋습니다. Presto에 대해서 알고 싶은 분들은 어서 받으세요. Presto 공식 매뉴얼이 조금 부족한 면이 있는 데, 이책이 조금 채워 줄 수 있을 것 같습니다. URL = Presto-The-Definitive-Guide