데브포유

송추계곡 오봉산 좋습니다.산봉우리가 5개라 오봉~~~송추계곡 유원지쪽에서 약 5km 걸으면 되는데중간에 송추 폭포도 있고, 산행길이 험하지 않아서 가볍게 올라가실 수 있습니다.송추IC 바로 앞에 유원지 주차장과 음식점이 있어서 교통편도 좋습니다. 쉽게 오를 수 있는 거에 비해서 오봉산 정상의 뷰는 정말 일품입니다.날씨가 좋으면 좌에서 우로 흐르는 한강을 볼 수 있는데, 햇빛에 반사되어 반짝이는강물이 몽한적입니다.비가 온 뒤에 가면 폭포의 모습도 제대로 볼 수 있고, 한강의 멋진 모습도 보실 수 있을 것 같더군요.가뭄때 가서 폭포에 물이 없어서 아쉽더라구요.​​

// 이전 글의 세션 헬퍼를 먼저 참조해 주세요. package sample.scala.spark.mongodb import com.mongodb.spark.MongoSparkimport com.mongodb.spark.config.ReadConfigimport org.bson.Document object MongoAggregate extends MongoHelper { def main(args: Array[String]):Unit = { val sparkSession = getSparkSession(args) val readConfig = ReadConfig(Map("collection" -> "orders", "readPreference.name" -> "primaryPreferred") , Some..

스파크에서 몽고디비를 데이터소스로 사용하는 예제 소스에서 공통으로 사용될 세션 헬퍼 소스 입니다 package sample.scala.spark.mongodb import org.apache.spark.sql.SparkSession private[mongodb] trait MongoHelper { def getSparkSession(args: Array[String]): SparkSession = { val sparkSession = SparkSession.builder() .master("local[*]") .appName("test") .config("spark.mongodb.input.uri", "mongodb://localhost:50000") .config("spark.mongodb.input...

Scala 2.10.0에 추가된 String Interpolation 예제 입니다. val name = "moonsun" val msg = s"My name is $name" println(msg) ==> My name is moonsun 문자열 변수를 $연산자로 문자열 내부에서 바로 사용할 수 있는 기능임. "s"를 String Interpolator라고 함. Starting in Scala 2.10.0, Scala offers a new mechanism to create strings from your data: String Interpolation. String Interpolation allows users to embed variable references directly in processe..

https://spark-packages.org/ 위 사이트에서 스파크의 다양한 패키지를 다운로드 받을 수 있음. 오늘 몽고디비와 연동하기 위한 connect와 spark-sql 드라이버를 다운로드 받음. 이제부터 흩어진 퍼즐을 하나씩 맞출차례...

1. 스파크 다운로드http://spark.apache.org/downloads.html 에서 Pre-built for hadoop 으로 다운로드 후 c:\spark 에 풀기... 2. windows용 hadoop 설치 (하둡을 사용하지 않아도 winutils.exe 가 필요함으로 설치)http://www.barik.net/archive/2015/01/19/172716/ c:\hadoop 에 풀기 3. spark-shell2.cmd 를 열어서 HADOOP_HOME, JAVA_HOME, SPARK_HOME 설정 set HADOOP_HOME=c:\hadoopset SPARK_HOME=c:\spark 4. hive에러 방지용 명령어 실행 ( c:\tmp\hive 디렉토리가 없으면 만듬)c\hadoop\bin\..

스칼라언어에서 변수를 선언할때 사용하는 var, val의 차이점은 아래와 같습니다. val = value 로 상수를 선언... var = variable 변수를 선언.. 즉 val로 선언된 변수에는 값을 재할당할 수 없고, var로 선언된 변수에만 재할당 가능. 스칼라는 val 를 사용하는 것을 권장함.

짧은 코드를 지향 - 간결한 코드는 버그 가능성을 줄여줌- 타입추론- 강력한 리터럴- 고수준 언어