Spark & MongoDB 연동 - 스팍세션 헬퍼 만들기

스파크에서 몽고디비를 데이터소스로 사용하는 예제 소스에서 공통으로 사용될 세션 헬퍼 소스 입니다

package sample.scala.spark.mongodb

import org.apache.spark.sql.SparkSession

private[mongodb] trait MongoHelper {

     def getSparkSession(args: Array[String]): SparkSession = {

         

        val sparkSession = SparkSession.builder()

          .master("local[*]")

         .appName("test")

         .config("spark.mongodb.input.uri", "mongodb://localhost:50000")

         .config("spark.mongodb.input.database","test")

         .config("spark.mongodb.input.collection", "sample")

         .getOrCreate()

      sparkSession

    }

}

* 오타가 있을 수 있습니다