Nifi를 도입하게 되면서 알게된 "StreamSets"을 설치해서 몇시간 동안 사용해 보았습니다. UI가 세련되기는 했지만 작은 화면 (노트북 13인치)에서 사용하기에는 많이 불편했습니다. 그리고 간단한 ETL 업무를 Nifi와 동일하게 구현할 경우에는 StreamSets가 더 어렵다고 느겼습니다. 향후 발전 가능성은 StreamSets가 더 높아 보이기는 하지만 현재 기준으로는 Nifi에 더 좋은 점수를 주고 싶습니다. 회사 일로 점점 미루어 지고 있는데 하루빨리 MariaDB ColumStore와 GreenPlumn를 비교 테스트 해봐야 겠습니다. 2021년이 가지전에....
주식에 한참 빠져있다 다시 정신차림... 요즘에 PostgreSQL과 PostgreSQL 기반으로 분석용 데이터베이스를 만든 GreenPlum을 설치해서 이것 저것 테스트 해보고 있습니다. PostgreSQL은 메타베이스의 기본 데이터베이스였던 "H2"를 대체할 목적으로 스터디 하고 있고, GreenPlum은 MariaDB ColumnStore를 대체할 수 있는지 검증하기 위해서 입니다. MariaDB ColumnStore가 최신 버전에서도 여전히 버그가 존재해서 GPDB가 어느 정도 성능이 나오면 과감하게 변경할 계획입니다. 스터디한 후에 공유할 내용이 있으면 블러그에 게시하겠습니다.
We’re rebranding PrestoSQL as Trino Dec 27, 2020 • Martin Traverso, Dain Sundstrom, David Phillips PrestoSQL이 Trino로 변경되었습니다. 홈페이지도 prestosql.io -> trino.io 로 변경. 처음에는 Preso의 원조인 PrestoDB(prestodb.io)를 사용하면서 "Oracle Connector"가 없어서 고생좀 하다가 PrestoSQL로 변경하여 사용했습니다. (2020년 말부터는 PrestoDB도 Oracle Connector 지원) 원조를 좋아하는 성격이라 PrestoSQL를 잘 사용하고 있으면서도 PrestoDB가 버전이 나오면 설치해서 사용해 봤습니다. 그리고 최근에 제가 내린 결론 몇가지..
작년에 포스팅 했던 "MariaDB ColumnStore Union/Union All 관련 버그"도 해결이 되었나 테스트 했습니다. SELECT * FROM ( SELECT * FROM ( SELECT a, b FROM 컬럼스토어_테이블 UNION ALL SELECT a, b FROM 컬럼스토어_테이블 ) V1 ) V2 증상) V1까지는 데이터가 깨지지 않는데, V2를 조회하면 a,b 값이 마구 섞여져 조회가 됩니다. 10.5.8 버전에서 테스트 결과 데이터가 정상적으로 조회 되었습니다.
mongoDB는 스키마가 없습니다. 그런데 Presto에서는 조회하는 테이블(컬렉션)의 스키마를 필요로 합니다. 그래서 Presto에서 mongoDB를 연결하게 되면, "_schema" 컬렉션이 mongoDB에 생성이 됩니다. 그리고 컬렉션마다 첫번째 값 기준으로 테이블명과 필드명을 "_schema"에 추가하여 사용하게 됩니다. 즉 나중에 추가된 필드는 반영이 안되어 있기 때문에 그 필드를 Presto에서 조회할 때 인식을 못해서 에러가 나는 것입니다. 해결 책은 "_schema"에 해당 필드 정보를 추가해 주면 됩니다. ex) "orders"라는 컬렉션에 "prdt_nm" 필드를 추가해 주는 예제 입니다. >> 추가 db._schema.update( {table:'orders'}, {$push:{fie..
- Total
- Today
- Yesterday
- yugabyteDB
- 코라나 19
- 매직 트랙패드2
- 오미크론
- 로니카 BCS
- VARIDESK
- 홈 오피스
- 카카오 에드
- node.js
- 배당급
- Life Chair
- Sybase IQ
- 빈센트 반 고흐
- Pixel Pals
- 별이 빚나는 밤
- JMW 헤어드라이기기
- 증권정보포털
- 루미큐브 종류
- 유가바이트디비
- 톡토기
- GKRS
- 화분벌레
- weka
- 고체 향수
- 파나소닉 비데 DL-EH10KWS
- 남설 팔찌
- 르세라핌
- 브리다 정수기
- 솔리드 쿨론
- 별잉 빛나는 밤
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |