데브포유

package com.ex import org.apache.spark.{SparkConf, SparkContext} /** * Created by moonsun on 17. 3. 14.. */ object RddTest { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("RDD TEST") val sc = new SparkContext(conf) val input = sc.parallelize(List((1,2),(3,6),(2,3),(2,5))) println("\ntt0") val tt0 = input.reduceByKey( (x,y)=> x+y) tt0.foreach{ pr..

package com.ex import org.apache.spark.{SparkConf, SparkContext} /** * Created by moonsun on 17. 3. 14.. */ object WordCount { def main(args: Array[String]) { val conf = new SparkConf().setMaster("local").setAppName("WordCount") val sc = new SparkContext(conf) val rdd = sc.textFile("/Users/moonsun/spark/spark2/README.md") val words = rdd.flatMap(line => line.split(" ")) //words.foreach { println..

Spark를 파이썬으로 공부하고 있었는데, 성능면에서 Scala로 개발하는게 훨씬 빠르단다. Spark도 Scala로 개발되었다고 한다. 이왕하는거 Scala로 하기로 하고 개발 환경을 구성하고 테스트 코드를 실행해 보았다. 1. IntelliJ 설치 2. intelliJ 플러그인 중 Scala 설치 3. 테스트 프로젝트 생성 후 SBT 빌드파일 수정( 아래와 같이 스파크를 인식할 수있도록 라이브러리 의존성 추가) 4. 테스트 코드 수행 ps) Spark의 log4j.properties를 변경하고 싶으면, 변경된 파일을 /src/main/resouces 로 복사해 주면 됩니다.

* 엔티티 물리 속성명이 "_CD"나 "_DIV"로 끝나면 파일로 저장하는 예제 var file = promptSaveFile();var out = file.getOutputStream(); select(function(it) { return it.get("type") == "column"}).each(function(it) { var matcher = compilePattern(".*(_CD$|_DIV$)").matcher(it.get("physical-name")); if (matcher.matched()) {out.printf("%s - %s \n", it.get("table").get("physical-name"), it.get("physical-name"));} }); out.close()fil..

Spark를 설치하고, 개발툴로 pyCharm를 사용해서 테스트 코드를 작성해서 수행해 보았습니다. 01. pyCharm 설정 02. 테스트코드 수행 자바 개발툴로 Intelij IDEA가 최고던데, 역시나 Python도 pyCharm이 진리네요.

eXERD에는 "용어사전"이란 기능이 있습니다. 물리명, 논리명을 관리해서 다음에 속성(컬럼)을 정의 할때 이전에 사용한 명명규칙을 빠르게 적용할 수 있게 해주는 기능 입니다. 엔티티에 속성을 추가할 때 용어사전에 있는 논리명을 쓰면 물리명이 자동으로 입력이 되고, 물리명을 입력하면 논리명이 바로 추가가 됩니다. 편리한 기능인데 다음과 같은 상황에서는 어떻게 할 수 있을까요? 이미 다수의 엔티티와 속성을 모두 정의해 둔 상태에서 "용어사전"를 대폭 수정한 경우 CASE 1) 용어사전에 있는 논리명 기준으로 이미 정의한 엔티티의 물리명을 용어사전에 있는 물리명으로 변경할 필요가 있는 경우입니다. 이때는 다이어그램 메뉴에서 "용어사전 편집"이란 기능을 이용하면 용어사전에 정의된 논리명에 해당하는 물리명으로 ..

회사에서 아파치 스파크를 사용할 수 도 있을 것 같아서 요즘 "러닝 스파크" 책으로 맛보고 있는 중입니다. 책에서는 3가지 언어(자바, 파이썬, 스칼라)로 스파크를 다루고 있는데, 파이썬도 좀 더 배울 겸 파이썬으로 책 예제를 따라 가면서 공부하고 있습니다.2010년식 맥북에어로하고 있는데 유닉스 환경에서 따라하시는게 윈도우즈 보다 더 좋습니다.파이참으로 코딩하고 있는데 역시 2010년식 맥북에어가 버거워 합니다하루빨리 맥북프로를 업어와야 겠습니다.