데브포유

Ruby on Rails는 예전만 못하지만 여전히 많이 사용되고 있네요.

아파치 제플린을 배우고 있습니다. 처음 목적은 데이터베이스에서 조회된 값을 그래프로 쉽게 시각화 할 수 있어서 였는데, 더 많은 일을 할 수 있을 것 같아서기대가 됩니다.JDBC를 통해서 RDB로부터 데이터를 조회한 후에 표를 비롯해서 다양한 차트로 데이터를 표현할 수 있으며,아파치 스파크와 연동해서 파워풀한 데이터 분석까지 할 수 있고, 그 내용을 다른 사용자에게 쉽게 공유할 수 있습니다.그리고 기능을 조금만 추가하면 대시보드 화면을 구현할 수 있구요.1차 목표는 대시보드 화면을 쉽게 구현해서 공유해 보는 것입니다.

https://nosqlbooster.com몽고디비를 회사에서 도입하고 프로젝트를 진행 중이다.데이터를 확인하기 위해서 쿼리툴이 필요한데, 이제까지는 Robo 3T를 사용하고 있었는데 거의 메모장 수준이라유료 툴을 알아보게 되었다.예전에 소개한 "Studio 3T" 구매를 고려 했지만 라이센스 정책이 매년 새로 구매해야 하는 방식이라 드롭하고,대안으로 찾은 프로그램이 "nosqlbooster for mongodb" 이다.1 copy 199$ 이고, 소규모팀 라이센스로 6 copy에 1000$가 있어서 6 copy 구매로 확정하지 싶다.단순하게 사용하는 직원은 "Robo 3T"를 사용하게 하고, 데이터를 전문적으로 핸들링하는 직원에게 이 툴를 제공하면 될것 같다.

두번째로 JDBC의 ResultSet 결과를 JsonArray로 변환하는 함수를 구현해 보겠습니다.DataConverter 클래스에 추가됩니다.효율적인 데이터 처리를 위해서 Oracle에서 데이터를 Fetch하는 Count와 JsonArray에 담길데이터를 일치 시켰습니다.그래서 아래 함수의 두번째 인자인 maxSize가 그 값입니다. 저는 보통 1000을 사용합니다.오라클 11g 는 기본값이 20 입니다. 즉 20 rows 씩 클라이언트로 운반이 됩니다.그리고 데이터 형은 일단 정수형과 문자열만 사용한다는 가정하에 함수를 만들어 보았습니다. DataConverter.java-------------------------------public static JsonArray sqlToJson(ResultSe..

Oracle에 있는 데이터를 MongoDB로 옮기는 간단한 ETL 프로그램을 만들어 볼려고 합니다. 1. 환경- DBMS: Oracle 11g, MongoDB 3.6.3 - 라이브러리: ojdbc6-11.2.0.1.0.jar, mongo-java-driver-3.6.3.jar, Gson-2.8.2.jar- 개발환경: jdk 1.8 2. 개발 개요- jdbc로 오라클에서 데이터를 추출한 후에 Gson를 이용해서 Bson (Document)로 변환해서 몽고디비에 데이터 적재하게 됨. 3. 모듈: JsonArray(Gson) -> List (bson) 변환함수 구현 DataConverter.java----------------- source ----------------------import com.googl..

몽고디비를 자바로 핸들링하기 위해서 자바드라이버를 사용하면 프로그램 수행시 불필요한 로깅 메시지가 콘솔에 출력이됩니다. 드라이버에 내장된 로깅 기능때문인데요. 아래 코드를 MongoClient를 사용하는 곳에 넣어 주시면 불필요한 메시지가 사라 집니다.자세한 로그를 원하시면 로그 레벨을 조정하시면 되겠죠. import java.util.logging.Logger;Logger mongoLogger = Logger.getLogger( "org.mongodb.driver" );mongoLogger.setLevel(Log.WARNING); - 끝 -