데브포유

다음과 같은 오픈소스를 활용하면 쉽고 빠르게 매트릭스 모니터링(시각화, 알림) 시스템을 구현할 수 있습니다. Telegraf : 매트릭스 수집 후 DB에 저장 InfluxDB: Telegraf에서 수집된 데이터를 저장하는 시계열 데이터베이스 Grafana: InfluxDB에서 데이터를 가져와 다양한 그래프로 대시보드 구성 및 Alert 구현 오늘은 InfluxDB를 로컬 컴퓨터에 설치하고, CR(ud)를 해보았습니다. CRUD에서 ud를 소문자로 설명한 것은 InfluxDB는 기본 사상이 입력한 데이터를 수정/삭제하는 것을 지양하도록 설계된 데이터베이스이기 때문입니다. RDBMS vs InfluxDB 비교 RDBMS InfluxDB Database Database Table Measurement Row ..

이제까지 개발한 ETL를 모두 "아파치 카프카"를 중심으로 다시 개발하는 것이 2020년 새해 첫 번째 목표입니다. 오라클(OLTP), 웹로그 등 다양한 데이터소스에서 타켓 DB(몽고디비, 코크로치디비, 마리아디비, ...)로 데이터를 옮기는 ETL이 중복 개발 되었습니다. 프로그램을 수정해서 2개의 프로그램으로 재 개발하는 것보다 카프카를 이용해서 심플하면서, 고가용성 있게 다시 개발하는 것이 시스템 관리에 더 낫다고 판단이 되어졌습니다.

1위 MongoDB => 최근 2~3년 동안 관심을 많이 가졌던 녀석인데, 드디어 우리나라에서 꽃을 피우는 것 같아서 1위로 선정. 9월에 MongoDB Local. Seoul에 참석했던 기억이 오래 오래 남을 것 같다. 2위 CockroachDB => 처음부터 클라우드 환경을 고려해서 만든 데이터베이스라서 이제까지 접해보지 못했던 다양한 기능들이 나를 더 성장시켜 줘서 2위로 선정. "Simple is best"가 생각나게 하는 녀석이고, 아마 MongoDB 다음으로 DBMS제품으로 성공할 것 같은 느낌. 3위 MariaDB ColumnStore => SAP IQ(Sybase IQ)와 비슷한 녀석인데, 이 것은 무료(Free) 말이 필요 없고, 저 비용으로 데이터웨어하우스가 필요한 기업은 무조건 도입해..

데이터(정보)를 사람이 쉽게 인식하기 위해서 데이터 시각화는 필수 입니다. 제플린이나 타블로등 많은 솔루션이 있지요. 시각화 솔루션 중에서 현재 사용하려고, 연구중인 "Metabase"를 소개해 드립니다. URL = https://www.metabase.com/ Metabase Ask your own questions Explore on your own Easily filter and group your data to find just what you’re looking for, all without ever writing a line of sql or having to wait on a co-worker. See connections It just takes a click to see individua..

​ 컬럼 지향형 DB인 MariaDB ColumnStore에 데이터웨어하우스와 마트를 구성한 후에 메타베이스를 통해서 다양한 데이터를사람이 쉽게 인지할 수 있도록 시각화하고 있습니다.컬럼스토어와 메타베이스가 모두 오픈소스여서 어려운점이 많지만, 하나씩 해결해 나가는 즐거움도 큽니다.

국산 In-Memory DBMS의 대표주자인 "알티베이스"가 오픈소스로 전환이 되었습니다. (뒷북) 요즘 당면한 문제를 해결하기 위해서 "Redis", "CockroachDB", "MariaDB"등 여러가지 DBMS 제품을 검토하다가 알티베이스가 오픈소스로 전환이 된 사실을 알게 되었습니다. 글로벌 트렌드에 맞게 일반버전(커뮤니티)은 오픈소스로 공개하고, 엔터프라이즈급은 유료 라이센스를 취하는 방식을 선택한 듯 보입니다. 리눅스 버전만 다운로드 받을 수 있습니다. 오늘 다운로드 받아서 설치해 보았습니다. (굿)

1. 맥에서 redis 설치 -> brew install redis 2. 설치된 경로 2-1. redis 실행파일: /usr/local/bin/redis-server, redis-cli ... 2-2. redis 설정파일: /usr/local/etc/redis.conf 3. redis 서버 실행 -> redis-server 4. redis 클라이언트로 접속 -> redis-cli 5. redis 접속 후 키 입력/삭제 -> set dev4u https://devtu.tistory.com -> get dev4u 6. 모든키 조회 -> keys * 7. 데이터베이스 -> redis는 서버 인스턴스당 16개 데이터베이스를 가질 수 있음 8. 데이터베이스 전환: select 명령어를 통해서 데이터베이스 전환 -..

2018년에 틈틈이 포스트그레스큐엘(PostgreSQL)를 스터디 했습니다.몽고디비는 실제 프로젝트를 수행하면서 기술을 습득해서 생각보다 성과가 많이 있었는데, 포스트그레스큐엘은순수하게 호기심으로 시작했던거라 큰 수확은 거두지 못했습니다.포스트그레스큐엘을 스터디하기로 마음을 먹은 것은 포화 상테인 RDBMS중에서 그나마 매년 꾸준히 성장하고 있어서 입니다.아래 db-engines.com 의 자료를 보면 (2018년 12월 기준)순위가 4위 이지만 2017년도에 비해서 20점이 상승했습니다. 포스트그레스큐엘은 우리나라에서는 적용 사례가 많이 없는데, 일본에서는 MySQL보다도 많이 사용된다고 합니다.서론이 길어 졌네요. ~~짬짬이 공부한 바로는 "어렵다" 입니다.Oracle, MySQL, SQLServer..