Mac m1 brew install spark

前言

Mac m1 brew install spark。大数据组件spark入门学习时会有很多系统性的知识需要我们去学习，比如在大数据整个生态圈里spark、Hadoop等组件的角色定位、价值、应用方向、系统安装等。正是这个系统性的思维模式会让我们在各个计算机系统环境中布置spark的时候都惯性的先把Hadoop环境搭建好再依次搭建spark，实际上在Mac笔记本本地安装spark组件的时候是可以不安装Hadoop的，毕竟大多数在Mac上安装spark是为了一些rdd语法的练习，不是为了大量数据的处理。

Mac本身只有自己的软件管理工具的，类似于我们用Linux系统，不同的内核用不同的命令来安装所需的软件或者工具包，如yum, apt-get等。Mac的软件包管理命令是 brew，安装spark环境所需要的所有的软件包都可以用brew来管理。

基本情况

  1. MacBook Pro (13-inch, M1, 2020)
  2. macOS 12.3.1 (21E258)

  3. java version “1.8.0_291” java的安装和环境配置可以通过 文章： http://www.lifefunker.com/archives/51， 来了解具体的操作。有一个事情强调一下，没有bash_profile文件就别自己画蛇添足非要新建一个了…..，没有是因为真的它不再叫这个名字了，找个.zshrc 文件

安装

通过brew安装软件主要也是三步骤：

  • 查找软件包 — brew search
  • 明确软件包 — brew info
  • 安装软件包 — brew install
~ % brew search spark
==> Formulae
apache-spark ✔          spark                   sparkey                 spack                   sparse                  par

==> Casks
spark                               spark-ar-studio                     sparkle                             sparkleshare

命令brew search spark 顾名思义就是查找spark软件包，可以看到返回多个结果，这些结果都是名称，我们要安装的时候都是install对应的名称即可。但是我们发现有Formulae和Casks两个不同的,一般我们按Formulae。

  • 「Formulae」一般是那些命令行工具、开发库、字体、插件等不含 GUI 界面的软件。
  • 「Cask」是指那些含有 GUI 图形化界面的软件，如 Google Chrome、FireFox 、Atom 等。
~ % brew info apache-spark
apache-spark: stable 3.2.1 (bottled), HEAD
Engine for large-scale data processing
https://spark.apache.org/
/usr/local/Cellar/apache-spark/3.2.1 (1,472 files, 322MB) *
  Poured from bottle on 2022-05-16 at 17:36:18
From: https://github.com/Homebrew/homebrew-core/blob/HEAD/Formula/apache-spark.rb
License: Apache-2.0
==> Dependencies
Required: openjdk@11 ✔
==> Options
--HEAD
	Install HEAD version
==> Analytics
install: 4,389 (30 days), 13,792 (90 days), 54,640 (365 days)
install-on-request: 4,387 (30 days), 13,777 (90 days), 54,556 (365 days)
 ~ % brew info spark
Warning: Treating spark as a formula. For the cask, use homebrew/cask/spark
spark: stable 1.0.1 (bottled)
Sparklines for the shell
https://zachholman.com/spark/
Not installed
From: https://github.com/Homebrew/homebrew-core/blob/HEAD/Formula/spark.rb
License: MIT
==> Analytics
install: 559 (30 days), 1,612 (90 days), 5,995 (365 days)
install-on-request: 544 (30 days), 1,566 (90 days), 5,834 (365 days)
build-error: 0 (30 days)

通过brew info 我们分别查看了 apache-spark 和 spark 的两个软件包的信息，可以看到spark的版本太老旧了，至此我们决定安装apache-spark。

brew install apache-spark

安装完成后，环境变量一般是不会有可执行的命令的，需要我们去zshrc文件中添加对应的sparkhome，但是如果不想那么麻烦就直接去安装的路径下，找到对应的spark-shell文件添加软链来快速打开即可。

发表回复