Spark 설치하기

Spark 설치 & Scala 버전 & Homebrew 설치하기

개발 환경(spark, hadoop, scala가 제멋대로 설치가 되어있습니다.)
OS: Mac os Sierra 10.12.6
Local PC Hadoop version: 3.0
Spark version: 2.3
scala version: 2.12.x

왜 재설치와 셋팅을 하는가? Spark에서 공식적으로 지원하는 Scala 버전은 2.11

그래서 문제점
Spark runs on Java 8+, Python 2.7+/3.4+ and R 3.1+. For the Scala API, Spark 2.3.0 uses Scala 2.11. You will need to use a compatible Scala version (2.11.x).
해결방법: (나의 생각) scala 2.11.x 재설치

Spark를 설치하는데 하둡은 필요없지만, HDFS가 설치되어 있다면 버전을 맞추어주어야 한다.

Hadoop version 확인 (Spark 설치시 버전을 맞추기 위해서)
$ hadoop version
Hive version 확인 (Spark 설치시 버전을 맞추기 위해서)
$ hive --version
Java version 확인 (Spark 사용을 위해서, Java 미 설치시 1.8 이상을 설치하세요)
$ java -version
Scala version 확인(저는 스칼라를 사용합니다. Python, Java, Scala 각자 기호에 맞게 설치하세요)
$ scala -version
spark version 확인
$ spark-shell
scala> sc.version
res0: String = 2.3.0

본격적인 해결: homebrew로 설치한 scala를 만져보자…

homebrew로 설치한 list 확인
$ brew list₩
homebrew 지원 패키지 버전 확인해봄
참고: brew search [패키지명]
$ brew search scala

scala ✔       scala@2.11   scala@2.10    scalaenv      scalapack     scalariform   scalastyle
(무언가 Scala 버전 패키지들 같음. 그냥 Scala는 최신 버전 패키지인 것 같고...일단 Scala 최신버전 깔려있긴함)

Scala 2.11 재설치 및 연결(여기서 부터는 지극히 제가 막 설치하고 했음…)
먼저 요렇게 해봄. 오류났음 안됨
$ brew install homebrew/versions/scala211
Error: homebrew/versions was deprecated. This tap is now empty as all its formulae were migrated. 오류났음
2.11을 설치해보자(설치 되었음)
$ brew install scala@2.11
기존 Scala와 링크를 끊고
$ brew unlink scala
이렇게 해봄
$ brew link scala@2.11 --force
$ scala -version
Scala code runner version 2.11.12 – Copyright 2002-2017, LAMP/EPFL

뭔가 연결 된 것 같음! 만약 환경 설정문제가 있다면 인터넷을 참고합시다

참고: hombrew 명령어

homewbrew 원하는 리스트 삭제하기
brew uninstall [삭제할 리스트명]
$ brew uninstall scala
리스트 중 업데이트 가능한 것 확인
$ brew outdated
패키지 업데이트하기
$ brew update [패키지명]
homebrew 업데이트
$ brew update

Spark 설치 이전에 Java8이상, Scala2.11(Spark 공식지원 버전) 설치가 되어있다고 가정합니다

Spark 설치 & Scala 버전 & Homebrew 설치하기

Share this post