Spark DataFrame groupBy и сортировка в порядке убывания (pyspark)

Я использую pyspark (Python 2.7.9 / Spark 1.3.1) и имею объект GroupObject фрейма данных, который мне нужно фильтровать и сортировать в порядке убывания. Пытаюсь достичь этого с помощью этого фрагмента кода.

group_by_dataframe.count().filter("`count` >= 10").sort('count', ascending=False)

Но это вызывает следующую ошибку.

sort() got an unexpected keyword argument 'ascending'

В PySpark 1.3 sortметод не принимает восходящий параметр. descВместо этого вы можете использовать метод:

from pyspark.sql.functions import col

(group_by_dataframe
    .count()
    .filter("`count` >= 10")
    .sort(col("count").desc()))

или descфункция:

from pyspark.sql.functions import desc

(group_by_dataframe
    .count()
    .filter("`count` >= 10")
    .sort(desc("count"))

Оба метода можно использовать с Spark> = 1.3 (включая Spark 2.x).

Используйте orderBy :

df.orderBy('column_name', ascending=False)

Полный ответ:

group_by_dataframe.count().filter("`count` >= 10").orderBy('count', ascending=False)

http://spark.apache.org/docs/2.0.0/api/python/pyspark.sql.html

Безусловно, самый удобный способ - использовать это:

df.orderBy(df.column_name.desc())

Не требует специального импорта.

В pyspark 2.4.4

1) group_by_dataframe.count().filter("`count` >= 10").orderBy('count', ascending=False)

2) from pyspark.sql.functions import desc
   group_by_dataframe.count().filter("`count` >= 10").orderBy('count').sort(desc('count'))

Нет необходимости импортировать в 1) и 1) кратко и легко читается,
поэтому я предпочитаю 1) 2)

вы также можете использовать groupBy и orderBy следующим образом

dataFrameWay = df.groupBy("firstName").count().withColumnRenamed("count","distinct_name").sort(desc("count"))