Невозможно запустить кластер Spark в автономном режиме с start-all.sh

Я новичок в Spark и пытаюсь установить Spark Standalone в кластер с 3 узлами. Я сделал SSH без пароля от мастера к другим узлам.

Я пробовал следующие изменения конфигурации

  • Обновлены имена хостов для 2 узлов в файле conf / slaves.sh. Создал файл spark-env.sh и обновил SPARK_MASTER_IP с помощью главного URL-адреса. Также попытался обновить значение spark.master в файле spark-defaults.conf.

    Снимок файла conf / slaves.sh

    # A Spark Worker will be started on each of the machines listed below.
Spark-WorkerNode1.hadoop.com
Spark-WorkerNode2.hadoop.com

Снимок файла spark-defaults.conf

    # Example:
      spark.master                     spark://Spark-Master.hadoop.com:7077

Но когда я пытаюсь запустить кластер, запустив start-all.sh на главном сервере, он не распознает рабочие узлы и запускает кластер как локальный.

Это не дает никаких ошибок, файлы журнала показывают Успешно запущенную службу "sparkMaster" и Успешно запущенную службу "sparkWorker" на главном сервере.

Я попытался запустить сценарий start-master и start-slave на отдельных узлах, и, похоже, он работает нормально. Я вижу 2 рабочих в веб-интерфейсе. Я использую Spark 1.6.0

Может ли кто-нибудь помочь мне с тем, что мне не хватает при попытке запустить start-all?


apache-spark
person Kev A    schedule 28.02.2016    source источник
comment
Пожалуйста, предоставьте журналы. Без этого мы можем только догадываться.   -  person zero323    schedule 28.02.2016
comment
имея аналогичную проблему. какое разрешение на это? работает с прикрепленными вручную рабочими к мастеру, но когда я запускаю start-all.sh, рабочие узлы отображаются в главном пользовательском интерфейсе, но ссылки для рабочих узлов <ip>:8081 не работают.   -  person horatio1701d    schedule 23.06.2016

Ответы (1)


arrow_upward
1
arrow_downward

Снимок файла conf / slaves.sh

Файл должен называться slaves без расширения.

person deadbeef    schedule 23.05.2017