데브포유

특정 문자열에 찾고자 하는 문자열이 시작일치인지 아니면 부분일치인지 판별해주는 함수를 구현해 보았습니다. #define bool int#define true 1#define false 0 bool strMatch(char* objStr, char* schStr, char matchType) { if (objStr == NULL || schStr == NULL) return false; char* ret = strstr(objStr, schStr); if(ret == NULL) return false; if ('S' == matchType) { /* 시작일치 */ return (objStr == ret)?true:false; } else if ('P' == matchType) { /* 부분일치 */ ret..

Programming in Scala 3/e 한국어판이 출간 되었습니다. 3월달에 Scala를 공부할려고 2판을 샀는데, 3판이 나올 줄 알았으면 조금 있다가 살껄 그랬습니다. 2판하고 대부분 내용은 같은데 버전업이 되면서 변경되거나 추가된 내용이 조금 포함되어 있습니다. Scala 창시자가 직접 저술한 책이어서 그런지 공부할때 레퍼런스로 보면 딱 좋습니다.

// 이전 글의 세션 헬퍼를 먼저 참조해 주세요. package sample.scala.spark.mongodb import com.mongodb.spark.MongoSparkimport com.mongodb.spark.config.ReadConfigimport org.bson.Document object MongoAggregate extends MongoHelper { def main(args: Array[String]):Unit = { val sparkSession = getSparkSession(args) val readConfig = ReadConfig(Map("collection" -> "orders", "readPreference.name" -> "primaryPreferred") , Some..

스파크에서 몽고디비를 데이터소스로 사용하는 예제 소스에서 공통으로 사용될 세션 헬퍼 소스 입니다 package sample.scala.spark.mongodb import org.apache.spark.sql.SparkSession private[mongodb] trait MongoHelper { def getSparkSession(args: Array[String]): SparkSession = { val sparkSession = SparkSession.builder() .master("local[*]") .appName("test") .config("spark.mongodb.input.uri", "mongodb://localhost:50000") .config("spark.mongodb.input...

Scala 2.10.0에 추가된 String Interpolation 예제 입니다. val name = "moonsun" val msg = s"My name is $name" println(msg) ==> My name is moonsun 문자열 변수를 $연산자로 문자열 내부에서 바로 사용할 수 있는 기능임. "s"를 String Interpolator라고 함. Starting in Scala 2.10.0, Scala offers a new mechanism to create strings from your data: String Interpolation. String Interpolation allows users to embed variable references directly in processe..

https://spark-packages.org/ 위 사이트에서 스파크의 다양한 패키지를 다운로드 받을 수 있음. 오늘 몽고디비와 연동하기 위한 connect와 spark-sql 드라이버를 다운로드 받음. 이제부터 흩어진 퍼즐을 하나씩 맞출차례...

1. 스파크 다운로드http://spark.apache.org/downloads.html 에서 Pre-built for hadoop 으로 다운로드 후 c:\spark 에 풀기... 2. windows용 hadoop 설치 (하둡을 사용하지 않아도 winutils.exe 가 필요함으로 설치)http://www.barik.net/archive/2015/01/19/172716/ c:\hadoop 에 풀기 3. spark-shell2.cmd 를 열어서 HADOOP_HOME, JAVA_HOME, SPARK_HOME 설정 set HADOOP_HOME=c:\hadoopset SPARK_HOME=c:\spark 4. hive에러 방지용 명령어 실행 ( c:\tmp\hive 디렉토리가 없으면 만듬)c\hadoop\bin\..

스칼라언어에서 변수를 선언할때 사용하는 var, val의 차이점은 아래와 같습니다. val = value 로 상수를 선언... var = variable 변수를 선언.. 즉 val로 선언된 변수에는 값을 재할당할 수 없고, var로 선언된 변수에만 재할당 가능. 스칼라는 val 를 사용하는 것을 권장함.