package com.ex import org.apache.spark.{SparkConf, SparkContext} /** * Created by moonsun on 17. 3. 14.. */ object RddTest { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("RDD TEST") val sc = new SparkContext(conf) val input = sc.parallelize(List((1,2),(3,6),(2,3),(2,5))) println("\ntt0") val tt0 = input.reduceByKey( (x,y)=> x+y) tt0.foreach{ pr..
package com.ex import org.apache.spark.{SparkConf, SparkContext} /** * Created by moonsun on 17. 3. 14.. */ object WordCount { def main(args: Array[String]) { val conf = new SparkConf().setMaster("local").setAppName("WordCount") val sc = new SparkContext(conf) val rdd = sc.textFile("/Users/moonsun/spark/spark2/README.md") val words = rdd.flatMap(line => line.split(" ")) //words.foreach { println..
Spark를 파이썬으로 공부하고 있었는데, 성능면에서 Scala로 개발하는게 훨씬 빠르단다. Spark도 Scala로 개발되었다고 한다. 이왕하는거 Scala로 하기로 하고 개발 환경을 구성하고 테스트 코드를 실행해 보았다. 1. IntelliJ 설치 2. intelliJ 플러그인 중 Scala 설치 3. 테스트 프로젝트 생성 후 SBT 빌드파일 수정( 아래와 같이 스파크를 인식할 수있도록 라이브러리 의존성 추가) 4. 테스트 코드 수행 ps) Spark의 log4j.properties를 변경하고 싶으면, 변경된 파일을 /src/main/resouces 로 복사해 주면 됩니다.
* 엔티티 물리 속성명이 "_CD"나 "_DIV"로 끝나면 파일로 저장하는 예제 var file = promptSaveFile();var out = file.getOutputStream(); select(function(it) { return it.get("type") == "column"}).each(function(it) { var matcher = compilePattern(".*(_CD$|_DIV$)").matcher(it.get("physical-name")); if (matcher.matched()) {out.printf("%s - %s \n", it.get("table").get("physical-name"), it.get("physical-name"));} }); out.close()fil..
eXERD에는 "용어사전"이란 기능이 있습니다. 물리명, 논리명을 관리해서 다음에 속성(컬럼)을 정의 할때 이전에 사용한 명명규칙을 빠르게 적용할 수 있게 해주는 기능 입니다. 엔티티에 속성을 추가할 때 용어사전에 있는 논리명을 쓰면 물리명이 자동으로 입력이 되고, 물리명을 입력하면 논리명이 바로 추가가 됩니다. 편리한 기능인데 다음과 같은 상황에서는 어떻게 할 수 있을까요? 이미 다수의 엔티티와 속성을 모두 정의해 둔 상태에서 "용어사전"를 대폭 수정한 경우 CASE 1) 용어사전에 있는 논리명 기준으로 이미 정의한 엔티티의 물리명을 용어사전에 있는 물리명으로 변경할 필요가 있는 경우입니다. 이때는 다이어그램 메뉴에서 "용어사전 편집"이란 기능을 이용하면 용어사전에 정의된 논리명에 해당하는 물리명으로 ..
- Total
- Today
- Yesterday
- node.js
- JMW 헤어드라이기기
- weka
- 카카오 에드
- 솔리드 쿨론
- Sybase IQ
- VARIDESK
- 르세라핌
- 로니카 BCS
- 톡토기
- 증권정보포털
- Life Chair
- GKRS
- 별잉 빛나는 밤
- 배당급
- 별이 빚나는 밤
- Pixel Pals
- 오미크론
- 루미큐브 종류
- 코라나 19
- 유가바이트디비
- 파나소닉 비데 DL-EH10KWS
- 남설 팔찌
- 매직 트랙패드2
- 화분벌레
- 빈센트 반 고흐
- 홈 오피스
- 브리다 정수기
- 고체 향수
- yugabyteDB
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |