Установка Apache Spark с помощью yum

Я нахожусь в процессе установки искры в коробку HDP моей организации. Я запускаю yum install spark, и он устанавливает Spark 1.4.1. Как установить Spark 2.0? Пожалуйста помоги!


apache-spark hadoop hortonworks-sandbox
person Amar Singh    schedule 21.11.2016    source источник
comment
это работает?   -  person mrsrinivas    schedule 21.11.2016
comment
Нет, это не сработало, он сказал, что пакет spark_2.0.0-master недоступен.   -  person Amar Singh    schedule 21.11.2016

Ответы (1)


arrow_upward
1
arrow_downward

Spark 2 поддерживается (как предварительная техническая версия) в HDP 2.5. Вы можете добавить конкретный репозиторий HDP 2.5 в каталог репозитория yum, а затем установить его. Spark 1.6.2 является версией по умолчанию в HDP 2.5.

wget http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.0.0/hdp.repo

sudo cp hdp.repo /etc/yum.repos.d/hdp.repo

sudo yum install spark2-master

или sudo yum install spark2 (тоже, кажется, делает то же самое, когда я пытался)

посмотрите, что нового в HDP 2.5 http://hortonworks.com/products/data-center/hdp/

Полный список репозиториев см. в https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.0/bk_release-notes/content/download-links-250.html

person Gopi Kolla    schedule 22.11.2016