在阅读一些博客和资料中,发现安装spark与Scala是要严格遵守两者的版本对应关系,如果版本不对应会在之后的使用中出现许多问题。

在安装时,我们可以在spark的官网中查到对应的Scala版本号,如spark2.4.4中对应的版本号为Scala2.11

spark官网:http://spark.apache.org/downloads.html,其中可以得到所需的版本信息

 

图中对应spark2.4.4需要使用Scala2.11版本,所以在下载安装时需要注意

 

Spark官网相关说明中也有涉及https://spark.apache.org/docs/latest/index.html

 

另附一些看到的文章地址

迷之问题:Spark和Scala库的版本一致性:http://www.bigdatastudy.net/show.aspx?id=644&cid=9

 

 

版权声明:本文为lixv2018原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.cnblogs.com/lixv2018/p/12257727.html