데브포유

🧩 NiFi란 무엇인가요?Apache NiFi는 데이터 흐름을 시각적으로 설계하고 자동화할 수 있는 오픈소스 플랫폼입니다. 복잡한 ETL 작업, 실시간 스트리밍, IoT 데이터 처리까지 다양한 분야에서 활용되며, GUI 기반의 인터페이스 덕분에 코딩 없이도 강력한 데이터 파이프라인을 구축할 수 있어요.🔧 NiFi의 주요 기능그래픽 기반 워크플로우 설계드래그 앤 드롭 방식으로 데이터 흐름을 구성실시간 모니터링 및 수정 가능다양한 프로세서 내장300개 이상의 내장 프로세서로 파일 처리, API 호출, DB 연동 등 가능커스텀 프로세서도 개발 가능데이터 라우팅 및 필터링조건에 따라 데이터 흐름을 분기하거나 필터링실패 시 자동 재처리 및 경로 변경 가능보안 및 접근 제어SSL, 인증서 기반 암호화사용자별 권..

간만에 살펴 본 db 랭킹.Snowflack와 Databricks 성장이 눈에 띄고요.기타로 Clickhouse 도 랭킹 많이 올라왔습니다. AI 시대에 대용량 데이터 처리가 필수이니 동반해서 성장한 것으로 보입니다.

create table tt_shop(shop_id varchar2(10),shop_info clob);-- & 대체변수롤 인식하지 않게 하기set define off;declarev_b clob;begin v_b := q'[테스트; url=test.com?&shop=111]'; insert into tt_shop values('0001', v_b); commit;end;select * from tt_shop;

https://gist.github.com/rutcreate/7737ba721cd7058f75eb312a080bc446 Setup Oracle Database on Apple Silicon Chip (Docker)Setup Oracle Database on Apple Silicon Chip (Docker) - README.mdgist.github.com 위 주소에 있는 방법으로 한번에 성공했습니다.Apple Silicon으로 작성된 설치 방법이지만, x86에 linux도 데이터베이스 zip 파일만 변경해 주면 잘 동작합니다.혹시라도 x86 linux에서 도커 빌드는 되었으나, run 할때 에러가 발생한다면 데이터가 저장될 oradata 디렉토리(하위 포함)에 퍼미션을 변경해 주면 됩니다.  계정 및 테이..

위 처럼 설정하면 10분 마다 idle 상태인 connection의 유효성 검사를 수행합니다.10개의 커넥션이 연결되어 있을 경우, 10분마다 디폴트 값에 의해서 3개의 connection이 유효성 검사를 수행됩니다.오라클 DBMS를 사용할 경우에 v$session에 있는 값을 통해서 확인할 수 있습니다. SELECT SID, PREV_EXEC_STARTFROM V$SESSIONWHERE USERNAME = '' AND OSUSER = ''

데이터베이스에서 특정 조건에 맞는 데이터를 조회해서 Json 형식으로 변환하고, 변환된 데이터에값을 추가하거나 변환하는 작업을 거친 후에, RestAPI로 전달하고 응답 결과를 파일로 저장하는 예제를만들어 보았습니다.Jolt Transform을 처음 사용해 보았는데, 아래 사이트가 많은 도움이 되었습니다.아래 예제는 Json에 디폴트 값을 추가하고, Json 데이터의 Key Name을 대문자에서 카멜 형식으로 변환하는 작업을 2개의 프로세서로 했는데, Jolt 문법으로 한번에 할 수도 있습니다.https://jolt-demo.appspot.com/#inception

import groovy.json.JsonOutputimport org.apache.commons.text.StringEscapeUtilsdef data = [message: '안녕하세요']def json = JsonOutput.toJson(data)// 유니코드 이스케이프 시퀀스를 UTF-8로 직접 변환def decodedJson = StringEscapeUtils.unescapeJson(json)println "Decoded JSON: $decodedJson"// 파일에 UTF-8로 저장new File('output.json').write(decodedJson, 'UTF-8')

특정 테이블 (tc_ymd)를 조회한 결과를 json으로 BATCH_SIZE (100건) 씩 Flow File로 만들어서 다음 프로세서로전달하는 예제입니다.지난번에 포스팅 했던  Json 데이터를 Oracle Merge문으로 변환하는 프로세서로 전달하기 위해서 만들어 봤습니다.Groovy Script로 작성한 이유는 조회한 데이터 일부를 특정 처리 (ex. 암호화)를 한 후에  다음 프로세서에 전달하기위해서 입니다. * tc_ymd.groovyimport org.apache.nifi.dbcp.DBCPServiceimport org.apache.nifi.processor.io.StreamCallbackimport org.apache.nifi.processor.io.OutputStreamCallbackimp..