какая связь между Spark rdd и Spark sql?

Я новичок в Spark! И я запутался в отношениях между Spark rdd и Spark sql . Должен ли Spark sql конвертироваться в Spark rdd в фоновом режиме?


apache-spark apache-spark-sql
person liyong    schedule 11.10.2016    source источник
comment
обратитесь к руководству по программированию: spark.apache.org/docs/latest/programming -guide.html   -  person mtoto    schedule 11.10.2016
comment
Возможный дубликат Разница между DataFrame и RDD в Spark   -  person    schedule 11.10.2016

Ответы (1)


arrow_upward
1
arrow_downward

Насколько я знаю, они стоят на разных двигателях.

Spark SQL использует внутреннюю вещь под названием Catalyst, которая отвечает за создание логических планов работы и оптимизацию производительности по отношению к codegen.

Во-первых, поскольку API-интерфейсы DataFrame и Dataset созданы на основе механизма Spark SQL, он использует Catalyst для создания оптимизированного логического и физического плана запроса.

https://databricks.com/blog/2016/07/14/a-tale-of-three-apache-spark-apis-rdds-dataframes-and-datasets.html

API RDD, с другой стороны, имеет низкий уровень и, по-видимому, не использует катализатор.

person Kristian    schedule 11.10.2016
comment
Очень благодарен за ваш ответ. Это разрешило мое замешательство. - person liyong; 13.10.2016