데브포유

package com.ex import org.apache.spark.{SparkConf, SparkContext} /** * Created by moonsun on 17. 3. 14.. */ object RddTest { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("RDD TEST") val sc = new SparkContext(conf) val input = sc.parallelize(List((1,2),(3,6),(2,3),(2,5))) println("\ntt0") val tt0 = input.reduceByKey( (x,y)=> x+y) tt0.foreach{ pr..

package com.ex import org.apache.spark.{SparkConf, SparkContext} /** * Created by moonsun on 17. 3. 14.. */ object WordCount { def main(args: Array[String]) { val conf = new SparkConf().setMaster("local").setAppName("WordCount") val sc = new SparkContext(conf) val rdd = sc.textFile("/Users/moonsun/spark/spark2/README.md") val words = rdd.flatMap(line => line.split(" ")) //words.foreach { println..

Spark를 파이썬으로 공부하고 있었는데, 성능면에서 Scala로 개발하는게 훨씬 빠르단다. Spark도 Scala로 개발되었다고 한다. 이왕하는거 Scala로 하기로 하고 개발 환경을 구성하고 테스트 코드를 실행해 보았다. 1. IntelliJ 설치 2. intelliJ 플러그인 중 Scala 설치 3. 테스트 프로젝트 생성 후 SBT 빌드파일 수정( 아래와 같이 스파크를 인식할 수있도록 라이브러리 의존성 추가) 4. 테스트 코드 수행 ps) Spark의 log4j.properties를 변경하고 싶으면, 변경된 파일을 /src/main/resouces 로 복사해 주면 됩니다.

Spark를 설치하고, 개발툴로 pyCharm를 사용해서 테스트 코드를 작성해서 수행해 보았습니다. 01. pyCharm 설정 02. 테스트코드 수행 자바 개발툴로 Intelij IDEA가 최고던데, 역시나 Python도 pyCharm이 진리네요.

회사에서 아파치 스파크를 사용할 수 도 있을 것 같아서 요즘 "러닝 스파크" 책으로 맛보고 있는 중입니다. 책에서는 3가지 언어(자바, 파이썬, 스칼라)로 스파크를 다루고 있는데, 파이썬도 좀 더 배울 겸 파이썬으로 책 예제를 따라 가면서 공부하고 있습니다.2010년식 맥북에어로하고 있는데 유닉스 환경에서 따라하시는게 윈도우즈 보다 더 좋습니다.파이참으로 코딩하고 있는데 역시 2010년식 맥북에어가 버거워 합니다하루빨리 맥북프로를 업어와야 겠습니다.

맥에서 텍스트 편집기를 찾다가 서브라임 텍스트를 발견하고 소개해 드렸는데요.마이크로소프트에서 만든 편집기도 있어서 소개해 드립니다.Visual Studio Code 라고 구글링 하시면 바로 나옵니다. 맥버전을 설치해 보았습니다.코딩을 하려면 언어에 만든 확장 모듈을 설치해 주어야 하는데요. 전 파이썬을 설치해 보았습니다.그리고 한참 해맸는데 파이썬을 실행하려면 F5를 누르시면 됩니다. 메뉴에는 디버깅 말고는 실행 메뉴가 없더군요. (제가 못 찾은 것일 수도...)서브라임 텍스트와 겹치는 부분도 많이 보입니다.파일을 한번 누르면 탭이 더이상 열리지 않고 현재 탭에 내용이 보이고, 두번 눌러야 탭이 새로 새기면서 내용이 보이는 방식이 비슷합니다.마이크로소프트에서 만든거 치고는 엄청 빠릅니다. 가볍다고 표현하..

서브라임 텍스트3를 맥에서 며칠 사용해 본 소감을 몇자 적어 봅니다.제 결론은 "텍스트 편집기" 본연의 역할 + "파이썬"과 같은 인터프리터 언어의 프로그래밍에 적합해 보였습니다.물론 확장성이 좋기 때문에 패키지를 잘 설치하면 자바와 같은 컴파일 언어의 개발도 할 수 있겠으나컴파일 언의에 최적화된 툴이 있다면 그 성능과 효율성은 따라가지 못할 듯 합니다.자바라면 이클리스나 인텔리제이 같은 툴이 더 적합해 보입니다. (지극히 주관적인 생각임)파이썬을 공부해 가면서 서브라임 텍스트를 사용해 보았는데 가볍고 빨라서 좋았습니다.서브라임 텍스트의 백미는 "Goto Anything" 입니다. 이런 기능은 다른 툴에서도 하루빨리 지원이 되었으면 좋겠습니다.

사용하면 할수록 매력이 있는 서브라임텍스트.제가 사용하고 있는 설정 파일 입니다.---------------------------------------------------------------------------------{"color_scheme": "Packages/Color Scheme - Default/Mac Classic.tmTheme", "font_face": "나눔코딩", "font_size": 14, "ignored_packages": [ "Vintage" ], "highlight_line": true, "line_padding_bottom": 1, "line_padding_top": 1, "fade_fold_buttons": false, "bold_folder_labels": true..