Ambari и Spark не запускаются из интерфейса командной строки

Из графического интерфейса Ambari мы не могу запустить службу Spark. Итак, мы хотим запустить его из командной строки следующим образом:

[spark@mas01 spark2]$ ./sbin/start-thriftserver.sh --master yarn-client --executor-memory 512m --hiveconf hive.server2.thrift.port=10015
starting org.apache.spark.sql.hive.thriftserver.HiveThriftServer2, logging to /var/log/spark2/spark-spark-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-master01.octopus9.com.out

Но из журнала мы получаем сообщение об ошибке:

Предупреждение: Master yarn-client устарел с 2.0. Пожалуйста, используйте мастер вместо этого "пряжа" с указанным режимом развертывания.

Посоветуйте, пожалуйста, что не так с синтаксисом?

[spark@mas01 spark2]$ more /var/log/spark2/spark-spark-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-master01.octopus9.com.out
Spark Command: /usr/jdk64/jdk1.8.0_112/bin/java -Dhdp.version=2.6.0.3-8 -cp /usr/hdp/2.6.0.3-8/spark2/conf/:/usr/hdp/2.6.0.3-8/spark2/jars/*:/usr/hdp/current/hadoop-client/conf/ -Xmx10000m org.apache.spark.deploy.SparkSubmit --master yarn-client --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --name Thrift JDBC/ODBC Server --executor-memory 512m spark-internal -- hiveconf hive.server2.thrift.port=10015
========================================
Warning: Master yarn-client is deprecated since 2.0. Please use master "yarn" with specified deploy mode instead.
0
02.03.2018, 14:49
1 ответ

Antes de Spark 2.0.0, era posible usar yarn-cliento yarn-clustery ahora está obsoleto. Cuando utilice las URL maestras en desuso, recibirá la advertencia mencionada.

La única URL maestra adecuada ahora es yarn, p. ./bin/spark-submit --master yarn.... Luego puede usar --deploy-modepara elegir entre los modos Sparkclient(predeterminado )o Spark cluster.

0
28.01.2020, 04:42

Теги

Похожие вопросы