데브포유

회사에서 OGG를 사용하면 쉽게 구현할 수 있었겠지만, SharePlex 8.x 버전을 사용하고 있어서 Oracle의 변경데이터(CDC)를 Apache Kafka로 Pub하고, MongoDB와 MariaDB ColumnStore쪽으로 Sub하는 미니프로젝트에 난항을 겪고 있다. SharePlex 9.x로 업그레이드해서 테스트 케이스를 구현해 보는 일도 오래 걸리지 싶다. 그 전에 개인적으로 팀에서 구축한 MongoDB와 MariaDB ColumnStore에 있는 데이터를 CRUD할 수있는 API서버를 2가지 버전(Graph QL, Rest API)으로 만들어 볼 생각이다. 언어는 파이썬 또는 자바로 구현하지 싶다. GoLang으로 하고 싶지만, 망분리가 되어 있어서 MongoDB와 MariaDB Driv..

올해는 개인적으로 일이 많아서 주식을 거의 하지 않았는데, 갑자기 월급날 필을 받아서 단타로 1 종목을 구입해서 14만원 수익을 내고 팔았다. 하루만 더 버텼으면 2배는 더 벌었겠지만, 주식에 대한 소신이 없는 쫄보 개미라 이걸로 만족. 2019년 1월 ~ 12월까지 누적 수익은 약50만원 정도. 무지의 개미가 50만원이면 나쁘지 않은 성적 아닌가~~

MongoDB와 MariaDB ColumnStore에 데이터를 적재하는 ETL 프로그램과, 업무용 배치 프로그램을 개발할 때 "Java"언어를 사용했습니다. 마지막으로 Java를 이용해서 프로젝트를 수행하거나, 책으로 공부한게 10년 전 입니다. 영화 "아바타"가 세상에 나올 때 쯤입니다. 최근 1년 정도 Java를 이용해서 개발한 프로그램을 다시 찬찬히 리뷰해 보니 사용한 JDK는 8인 데 모든 코드가 1.4 정도로 구사되어 있었습니다. 확실한 것은 스마트폰 시대에 피쳐폰을 사용한 느낌 ~~~ Java 8 ~ 10까지 새로 소개된 내용을 배워보고자 "모던 자바 인 액션"을 구입했습니다. 오늘 책이 도착해서 초반부를 읽어 보았는 데 "스트림과 람다"가 흥미롭게 느껴 집니다. 2년 전 쯤에 아주 살짝 Ap..

CockroachDB에는 클러스터를 모니터링할 수 있는 멋진 툴이 있습니다. 바로 "admin ui" 입니다. admin ui를 몇 달 정도 잘 사용하고 있었는 데, 오늘 갑자기 서버 리소스가 수집이 안되는 증상이 있어서 여러 방법을 시도하다가, 로그 파일을 모두 지워주니 다시 리소스 수집이 잘 되었습니다. 동일한 증상을 경험하고 계신다면 로그파일을 지워보세요.

ColumnStore 엔진으로 데이터를 저장한 테이블에서 특정 컬럼에 한글이 포함되어 있고, 이 값을 앞에서 10글자만 잘라서 사용하고 싶을 때, substr()함수를 사용하면 null이 리턴이 됩니다. 이 경우에 제가 해결한 방법 3가지를 소개해 드립니다. 방법1) Operating Mode 변경 set infinidb_vtable_mode = 0 select substr( prdt_nm, 1, 10) as prdt_nm_10 from t_order; 방법2) collate utf8_bin 를 해당 필드 조회시 사용 select substr( prdt_nm collate utf8_bin, 1, 10) as prdt_nm_10 from t_order; 방법3) 정규표현식 사용 select regexp_s..

------------------------------------- start.sh --------------------------------------- # 리눅스일 경우 export를 통해서 옵션 값 설정 java -jar metabase.jar & --------------------------------------------------------------------------------------- 메타베이스 기본 포트(3000)를 변경하고 싶을 때? -> export MB_JETTY_PORT=8080 HTTP 쿠키를 사용하여 내장 메타베이스 사용자를 인증할 때 세션 타임아웃 주는 방법 -> 세션 타임아웃을 분단위로 설정 "export MAX_SESSION_AGE=60" 기본 값은 20160으로..

Outer Join 사용시 Inner Table의 숫자 컬럼을 sum() 할 때 null 값에 주의해야 합니다. SELECT T1.ORDER_ID ,SUM(T2.PRDT_PRICE) FROM T_ORDER T1 LEFT JOIN T_ORDER_DETAIL T2 ON (T1.ORDER_ID = T2.ORDER_ID) GROUP BY T1.ORDER_ID ; SELECT T1.ORDER_ID ,SUM(COALESCE(T2.PRDT_PRICE,0)) FROM T_ORDER T1 LEFT JOIN T_ORDER_DETAIL T2 ON (T1.ORDER_ID = T2.ORDER_ID) GROUP BY T1.ORDER_ID 일반적으로 SUM()이나 COUNT()함수는 null 값이 있으면, 그 row는 skip하는..

MariaDB ColumnStore Union/Union All 관련 버그가 있습니다. 버그 발생 상황 SELECT * FROM ( SELECT * FROM ( SELECT a, b FROM 컬럼스토어_테이블 UNION ALL SELECT a, b FROM 컬럼스토어_테이블 ) V1 ) V2 => V1까지는 데이터가 깨지지 않는데, V2를 조회하면 a,b 값이 마구 섞여져 조회가 됩니다. MariaDB ColumnStore 1.2.5GA / 1.1.7GA 모두에서 동일하게 발생이 되었습니다. 임시 해결 방안을 매뉴얼에서 찾을 수 있었습니다. MariaDB에 접속한 세션에서 "set infinidb_vtable_mode = 0 "으로 변경해 주면 데이터가 깨지지 않고 출력이 됩니다. 해당 세션에만 적용됨으..