Вопросы с тегом «apache-spark-dataset»

Разница между DataFrame, Dataset и RDD в Spark

Мне просто интересно, в чем разница между RDDand и DataFrame (Spark 2.0.0 DataFrame - просто псевдоним типа Dataset[Row]) в Apache Spark? Можете ли вы преобразовать одно в

Как хранить пользовательские объекты в наборе данных?

В соответствии с введением наборов данных Spark : В преддверии Spark 2.0 мы планируем несколько интересных улучшений в наборах данных, в частности: ... Пользовательские кодировщики - в то время как в настоящее время мы автоматически генерируем кодировщики для широкого спектра типов, мы хотели бы...