데브포유

package com.ex import org.apache.spark.{SparkConf, SparkContext} /** * Created by moonsun on 17. 3. 14.. */ object RddTest { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("RDD TEST") val sc = new SparkContext(conf) val input = sc.parallelize(List((1,2),(3,6),(2,3),(2,5))) println("\ntt0") val tt0 = input.reduceByKey( (x,y)=> x+y) tt0.foreach{ pr..

package com.ex import org.apache.spark.{SparkConf, SparkContext} /** * Created by moonsun on 17. 3. 14.. */ object WordCount { def main(args: Array[String]) { val conf = new SparkConf().setMaster("local").setAppName("WordCount") val sc = new SparkContext(conf) val rdd = sc.textFile("/Users/moonsun/spark/spark2/README.md") val words = rdd.flatMap(line => line.split(" ")) //words.foreach { println..

Spark를 파이썬으로 공부하고 있었는데, 성능면에서 Scala로 개발하는게 훨씬 빠르단다. Spark도 Scala로 개발되었다고 한다. 이왕하는거 Scala로 하기로 하고 개발 환경을 구성하고 테스트 코드를 실행해 보았다. 1. IntelliJ 설치 2. intelliJ 플러그인 중 Scala 설치 3. 테스트 프로젝트 생성 후 SBT 빌드파일 수정( 아래와 같이 스파크를 인식할 수있도록 라이브러리 의존성 추가) 4. 테스트 코드 수행 ps) Spark의 log4j.properties를 변경하고 싶으면, 변경된 파일을 /src/main/resouces 로 복사해 주면 됩니다.