[Spark] IntelliJ IDEA + SBT + Scala 개발환경 설정해 보기

Spark를 파이썬으로 공부하고 있었는데, 성능면에서 Scala로 개발하는게 훨씬 빠르단다.

Spark도 Scala로 개발되었다고 한다.

이왕하는거 Scala로 하기로 하고 개발 환경을 구성하고 테스트 코드를 실행해 보았다.

1. IntelliJ 설치

2. intelliJ 플러그인 중 Scala 설치

3. 테스트 프로젝트 생성 후 SBT 빌드파일 수정( 아래와 같이 스파크를 인식할 수있도록 라이브러리 의존성 추가)

4. 테스트 코드 수행

ps) Spark의 log4j.properties를 변경하고 싶으면, 변경된 파일을 /src/main/resouces 로 복사해 주면 됩니다.