데브포유

특정 테이블 (tc_ymd)를 조회한 결과를 json으로 BATCH_SIZE (100건) 씩 Flow File로 만들어서 다음 프로세서로전달하는 예제입니다.지난번에 포스팅 했던  Json 데이터를 Oracle Merge문으로 변환하는 프로세서로 전달하기 위해서 만들어 봤습니다.Groovy Script로 작성한 이유는 조회한 데이터 일부를 특정 처리 (ex. 암호화)를 한 후에  다음 프로세서에 전달하기위해서 입니다. * tc_ymd.groovyimport org.apache.nifi.dbcp.DBCPServiceimport org.apache.nifi.processor.io.StreamCallbackimport org.apache.nifi.processor.io.OutputStreamCallbackimp..

import org.apache.nifi.controller.ControllerService def lookup = context.controllerServiceLookup def dbcpServiceId = lookup.getControllerServiceIdentifiers(ControllerService).find { cs -> lookup.getControllerServiceName(cs) == "HF_TSTDB" } def dbcpService = lookup.getControllerService(dbcpServiceId) //def dbcpService = context.controllerServiceLookup.getControllerService("43c54e78-0191-1000-9a98..

ConvertJSONToSQLWithMerge.java최근에 Oracle 데이터베이스를 목적지로 데이터를 이관하기 위해서 Nifi를 검토하던 중에, Nifi에는 Oracle Merge을 지원하는프로세서가 없다는 걸 알게되었습니다.Upsert 형식을 지원하는 프로세서가 있지만, 대상 데이터베이스에는 Oracle이 없습니다.그래서 구글링 해보니 Github에 커스텀 프로세서 코드가 있어서 사용해 보았습니다.출처: https://github.com/dawsongzhao1104/nifi출처: https://mdnice.com/writing/1e7798958878469cbd54e1dfe85126a7 그런데 실제로 테스트를 해보니, 커스컴 프로세서을 인식해서 사용할 수는 있는데, Merge문이 온전하게생성이 되지 ..

SELECT     SID,     SERIAL#,     OPTIMIZER_MODE,     OPTIMIZER_INDEX_COST_ADJ,     OPTIMIZER_INDEX_CACHING,    OPTIMIZER_FEATURES_ENABLE,    OPTIMIZER_DYNAMIC_SAMPLING,    OPTIMIZER_PARAMETERFROM     V$SESSION_OPTIMIZER_ENVWHERE     SID = SYS_CONTEXT('USERENV', 'SID');

PL/SQL에서 제공하고 있는 컬렉션 타입 중에서 연관 배열 (Associative Array)를 사용하면 Hash Table과 같이 사용할 수 있습니다. Key (인덱스)로 사용할 수 있는 데이터 타입은 숫자/문자열 모두 가능합니다.   01. Key:Value Type 정의TYPE KeyValueType IS TABLE OF NUMBER(12) INDEX BY VARCHAR2(3);v_keyVal KeyValueType;v_key VARCHAR2(3); 02. Value 저장 ( 저장할 때는 키 값이 존재하는지 체크함)IF v_keyVal.EXISTS('001') THEN v_keyVal ('001') := v_keyVal ('001') + 1000;ELSE v_keyVal ('..

오라클 문서에 나와 있는 바와 같이 LAST_VALUE() 함수 사용시에 ORDER BY 절을 추가 하더라도windowing 절이 없으면 의도하지 않는 값이 나오는 경우가 있습니다.따라서, LAST_VALUE() 사용시에는 위의 예시와 같이 windowing 절을 추가해 줘야 원하는 값을 얻을 수 있습니다.

Java 11를 사용해야 하는 환경이라면, Trino v.3.8.9 이 마지막 버전입니다.

EDB Postgres Advanced Server 15.2를 설치해서 잠깐 테스트해 보았습니다. 오라클 문법을 거의 다 지원을 해서 이미 오라클로 개발된 프로그램을 쉽게 EDB로 포팅 할 수 있을 것 같습니다. DBA는 용기를 좀 내야겠지만, 개발자 입장에서는 오라클에서 EDB로 변경하는 것은 비교적 쉽겠다는 생각이 들었습니다. EDB를 활용한 프로젝트를 진행할지는 미지수이지만 진행하게 된다면 관련된 경험을 공유해 보겠습니다. 오늘 테스트 해본 것 중에는 오라클 12c 사용할 수 없는 wm_concat() 함수 외에는 대부분 사용할 수 있었습니다.