데브포유

이 글을 쓰는 2022년 7월 현재 기준으로 가장 많이 사용되는 RDB가 오라클이기 때문에, SQL를 처음 배울 때 오라클 기준으로 배우면 활용하게 될 상황이 더 많습니다. 그리고 SQL를 배우다 보면 원리를 터득할 수 있어서 다른 RDB도 쉽게 배울 수 있습니다. SQL 생 초짜라면 "SQL의 컨셉" 책을 보면서 기초 문법을 다지면 좋습니다. 그리고 제가 제일 좋아하는 책인 "오라클 성능 고도화 1,2" 또는 "친절한 SQL 튜닝" 책을 통해서 중.고급 개념을 배울 수 있습니다. 그리고 오라클에서 SQL 실행계획을 체계적으로 배우고자 한다면 "실행 계획으로 배우는 고성능 데이터베이스 튜닝" 보면 좋습니다. 위에 나열한 책 외에도 SQL를 배우기 위한 좋은 책들은 많이 있습니다. Newbie에서 탈출하고..

고성능 SQL 작성을 위해 알아야 할 것은 수없이 많습니다. 많은 노력과 경험이 필요합니다. 그중에서 제가 먼저 알면 좋은 TIP 3가지를 소개해 드립니다. 3가지 모두 설명해 드릴 수도 있겠으나, 각자 위 주제로 정보를 찾아보시는 것도 실력 향상에 많은 도움이 되니 저는 화두만 던져 보겠습니다. 특히 Java 개발자면서 ibatis 또는 mybatis를 사용하고 계신다면 두 번째 TIP인 Bind Variable 사용과 관련해서 #, $ 사용 방법을 확실하게 이해하셨으면 합니다.

관계형 데이터베이스는 대부분 데이터를 저장할 때에 "행 지향" 또는 "열 지향"으로 저장합니다. OLTP 용 데이터베이스를 가장 많이 사용하게 됨으로 여러분이 사용 중인 데이터베이스는 대부분 "행 지향"으로 저장하고 있을 확률이 높습니다. 행 지향은 행 (row) 단위로 데이터를 쭉 이어서 저장하는 방식입니다. OLTP는 소량의 데이터를 다수의 사용자가 사용할 때 최적의 성능을 발휘하도록 설계가 되어 있기 때문에 행 단위로 저장하여 사용하는 것입니다. 반면에 열 지향은 데이터를 각각의 컬럼 별로 저장하는 방식입니다. 소수의 사람이 다량의 데이터를 처리할 경우에 적합니다. 주로 DW(데이터웨어하우스)에 사용되는 DBMS가 제공하는 방식입니다. 하나의 SQL에서 처리하는 행이 1억 건일 경우 행 지향 보다 ..

https://db-engines.com 에 방문해 보면 300여개가 넘는 데이터베이스를 만나 볼 수 있습니다. 관계형, 키-벨류, 와이트 컬럼 (키 패밀리), 도큐먼트, 그래프, 타임시리즈 등으로 분류하여 각각의 순위도 알 수가 있고요. 저는 가끔 방문해서 어떤 데이터베이스가 요즘 관심을 받는지를 보는 것도 좋아합니다. 그렇게 해서 올해 초에 "yugabytedb"를 알게 되어서 몇몇 글을 포스팅하기도 했었습니다. 관계형 데이터베이스는 세상에 나온 후로 오늘날까지 가장 광범위하게 사용되는 데이터베이스 모델입니다. 하지만 빅데이터가 출연한 이후로는 관계형 데이터베이스로 처리할 수 없는 곳이 생겨나면서 NoSQL이 출현했습니다. 데이터 일관성을 엄격하게 보장하는 관계형 데이터베이스와는 달리 어느 정도 일관..

"데이터베이스"가 중요한 이유를 먼저 알면 "SQL"를 왜 배워야 하는 이유를 더 분명히 알 수 있습니다. 페이스북, 아마존, 넷플릭스, 구글 등 모두가 알만한 기업들이 가치가 높고, 실제로도 시가 총액이 상상을 초월합니다. 제가 생각하는 일들 기업의 가치는 "알고리즘"과 보유한 막대한 "데이터"에 있다고 생각합니다. 이 중에 데이터는 대부분 다양한 데이터베이스에 저장되어 있습니다. 그리고 정제되고 가치가 있는 데이터는 관계형 데이터베이스에 대부분 존재하고, 관계형 데이터베이스에 있는 데이터를 활용할 수 있는 1차적인 언어는 SQL뿐입니다.

여러분이 관계형 데이터베이스를 사용하고 있다면, SQL을 필수로 배워야 합니다. 기본 문법 뿐만아니라 데이터를 효율적으로 처리할 수 있는 방법을 배워야 하죠. 저는 항상 SQL를 배우고자 하는 분이 있다면 , 기본 SQL문법을 배운 다음에 "실행계획" 을 해석하는 방법을 배워볼 것을 추천드립니다.

2022년도를 위해서 서버에 Apache Kafka 클러스터를 구성해 보고, 간단한 Producer와 Consumer 를 개발해서 테스트 해보았습니다. 가장 이슈는 회사의 메인 데이터베이스인 오라클에서 변경된 데이터를 어떻게 카프카에 적재할 것인가 입니다. 가장 좋은 방법은 OGG 또는 SharePlex의 Kafka Connector를 사용하는 방법인데 적지않은 비용이 발생합니다. Confluent의 Oracle CDC Connector를 살펴보니 LogMiner 기반으로 CDC를 수행할 수는 있으나 OGG나 SharePlex와 같은 성능을 낼 수 없고, DBMS에 대한 부하는 증가할 것으로 분석 되었습니다. 요즘 바빠서 미국 신규 상장 종목을 잘 보지 않았는데 몇달 전에 Confluent가 상장을 했더..

Nifi를 도입하게 되면서 알게된 "StreamSets"을 설치해서 몇시간 동안 사용해 보았습니다. UI가 세련되기는 했지만 작은 화면 (노트북 13인치)에서 사용하기에는 많이 불편했습니다. 그리고 간단한 ETL 업무를 Nifi와 동일하게 구현할 경우에는 StreamSets가 더 어렵다고 느겼습니다. 향후 발전 가능성은 StreamSets가 더 높아 보이기는 하지만 현재 기준으로는 Nifi에 더 좋은 점수를 주고 싶습니다. 회사 일로 점점 미루어 지고 있는데 하루빨리 MariaDB ColumStore와 GreenPlumn를 비교 테스트 해봐야 겠습니다. 2021년이 가지전에....