데브포유

// 이전 글의 세션 헬퍼를 먼저 참조해 주세요. package sample.scala.spark.mongodb import com.mongodb.spark.MongoSparkimport com.mongodb.spark.config.ReadConfigimport org.bson.Document object MongoAggregate extends MongoHelper { def main(args: Array[String]):Unit = { val sparkSession = getSparkSession(args) val readConfig = ReadConfig(Map("collection" -> "orders", "readPreference.name" -> "primaryPreferred") , Some..

스파크에서 몽고디비를 데이터소스로 사용하는 예제 소스에서 공통으로 사용될 세션 헬퍼 소스 입니다 package sample.scala.spark.mongodb import org.apache.spark.sql.SparkSession private[mongodb] trait MongoHelper { def getSparkSession(args: Array[String]): SparkSession = { val sparkSession = SparkSession.builder() .master("local[*]") .appName("test") .config("spark.mongodb.input.uri", "mongodb://localhost:50000") .config("spark.mongodb.input...

https://spark-packages.org/ 위 사이트에서 스파크의 다양한 패키지를 다운로드 받을 수 있음. 오늘 몽고디비와 연동하기 위한 connect와 spark-sql 드라이버를 다운로드 받음. 이제부터 흩어진 퍼즐을 하나씩 맞출차례...

1. 스파크 다운로드http://spark.apache.org/downloads.html 에서 Pre-built for hadoop 으로 다운로드 후 c:\spark 에 풀기... 2. windows용 hadoop 설치 (하둡을 사용하지 않아도 winutils.exe 가 필요함으로 설치)http://www.barik.net/archive/2015/01/19/172716/ c:\hadoop 에 풀기 3. spark-shell2.cmd 를 열어서 HADOOP_HOME, JAVA_HOME, SPARK_HOME 설정 set HADOOP_HOME=c:\hadoopset SPARK_HOME=c:\spark 4. hive에러 방지용 명령어 실행 ( c:\tmp\hive 디렉토리가 없으면 만듬)c\hadoop\bin\..

"디비가이드넷"에 Spark, Scala, MongoDB 등 무료 강의가 있습니다. 저와 같은 입문자 분들은 방문해서 강의를 들으시면 좋을 듯 싶습니다. cyber.dbguide.net

package com.ex import org.apache.spark.{SparkConf, SparkContext} /** * Created by moonsun on 17. 3. 14.. */ object RddTest { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("RDD TEST") val sc = new SparkContext(conf) val input = sc.parallelize(List((1,2),(3,6),(2,3),(2,5))) println("\ntt0") val tt0 = input.reduceByKey( (x,y)=> x+y) tt0.foreach{ pr..

package com.ex import org.apache.spark.{SparkConf, SparkContext} /** * Created by moonsun on 17. 3. 14.. */ object WordCount { def main(args: Array[String]) { val conf = new SparkConf().setMaster("local").setAppName("WordCount") val sc = new SparkContext(conf) val rdd = sc.textFile("/Users/moonsun/spark/spark2/README.md") val words = rdd.flatMap(line => line.split(" ")) //words.foreach { println..

Spark를 파이썬으로 공부하고 있었는데, 성능면에서 Scala로 개발하는게 훨씬 빠르단다. Spark도 Scala로 개발되었다고 한다. 이왕하는거 Scala로 하기로 하고 개발 환경을 구성하고 테스트 코드를 실행해 보았다. 1. IntelliJ 설치 2. intelliJ 플러그인 중 Scala 설치 3. 테스트 프로젝트 생성 후 SBT 빌드파일 수정( 아래와 같이 스파크를 인식할 수있도록 라이브러리 의존성 추가) 4. 테스트 코드 수행 ps) Spark의 log4j.properties를 변경하고 싶으면, 변경된 파일을 /src/main/resouces 로 복사해 주면 됩니다.