У меня есть дата-фрейм pyspark со строковым столбцом в формате, MM-dd-yyyy
и я пытаюсь преобразовать его в столбец даты.
Я старался:
df.select(to_date(df.STRING_COLUMN).alias('new_date')).show()
и я получаю строку нулей. Кто-нибудь может помочь?
У меня есть дата-фрейм pyspark со строковым столбцом в формате, MM-dd-yyyy
и я пытаюсь преобразовать его в столбец даты.
Я старался:
df.select(to_date(df.STRING_COLUMN).alias('new_date')).show()
и я получаю строку нулей. Кто-нибудь может помочь?
groupBy
или операций повторной выборки. Просто выполните их на строковых столбцах.groupBy
а скорее с использованием продольных исследований медицинских записей. Поэтому важно иметь возможность манипулировать датой,Ответы:
Обновление (10.01.2018):
Для Spark 2.2+ лучший способ сделать это, вероятно, - использовать функции
to_date
илиto_timestamp
, которые поддерживаютformat
аргумент. Из документов:>>> from pyspark.sql.functions import to_timestamp >>> df = spark.createDataFrame([('1997-02-28 10:30:00',)], ['t']) >>> df.select(to_timestamp(df.t, 'yyyy-MM-dd HH:mm:ss').alias('dt')).collect() [Row(dt=datetime.datetime(1997, 2, 28, 10, 30))]
Исходный ответ (для Spark <2.2)
Можно (желательно?) Сделать это без udf:
from pyspark.sql.functions import unix_timestamp, from_unixtime df = spark.createDataFrame( [("11/25/1991",), ("11/24/1991",), ("11/30/1991",)], ['date_str'] ) df2 = df.select( 'date_str', from_unixtime(unix_timestamp('date_str', 'MM/dd/yyy')).alias('date') ) print(df2) #DataFrame[date_str: string, date: timestamp] df2.show(truncate=False) #+----------+-------------------+ #|date_str |date | #+----------+-------------------+ #|11/25/1991|1991-11-25 00:00:00| #|11/24/1991|1991-11-24 00:00:00| #|11/30/1991|1991-11-30 00:00:00| #+----------+-------------------+
источник
to_date()
аргумент формата - это искра 2.2+.to_date
существовал до 2.2, но вариант формата не существовалfrom datetime import datetime from pyspark.sql.functions import col, udf from pyspark.sql.types import DateType # Creation of a dummy dataframe: df1 = sqlContext.createDataFrame([("11/25/1991","11/24/1991","11/30/1991"), ("11/25/1391","11/24/1992","11/30/1992")], schema=['first', 'second', 'third']) # Setting an user define function: # This function converts the string cell into a date: func = udf (lambda x: datetime.strptime(x, '%m/%d/%Y'), DateType()) df = df1.withColumn('test', func(col('first'))) df.show() df.printSchema()
Вот результат:
+----------+----------+----------+----------+ | first| second| third| test| +----------+----------+----------+----------+ |11/25/1991|11/24/1991|11/30/1991|1991-01-25| |11/25/1391|11/24/1992|11/30/1992|1391-01-17| +----------+----------+----------+----------+ root |-- first: string (nullable = true) |-- second: string (nullable = true) |-- third: string (nullable = true) |-- test: date (nullable = true)
источник
udf
не должно быть необходимости, но встроенные модули для обработки этого ужасны. Я бы сейчас тоже этим занимался.Подход strptime () у меня не работает. Я получаю другое более чистое решение, используя cast:
from pyspark.sql.types import DateType spark_df1 = spark_df.withColumn("record_date",spark_df['order_submitted_date'].cast(DateType())) #below is the result spark_df1.select('order_submitted_date','record_date').show(10,False) +---------------------+-----------+ |order_submitted_date |record_date| +---------------------+-----------+ |2015-08-19 12:54:16.0|2015-08-19 | |2016-04-14 13:55:50.0|2016-04-14 | |2013-10-11 18:23:36.0|2013-10-11 | |2015-08-19 20:18:55.0|2015-08-19 | |2015-08-20 12:07:40.0|2015-08-20 | |2013-10-11 21:24:12.0|2013-10-11 | |2013-10-11 23:29:28.0|2013-10-11 | |2015-08-20 16:59:35.0|2015-08-20 | |2015-08-20 17:32:03.0|2015-08-20 | |2016-04-13 16:56:21.0|2016-04-13 |
источник
2008-08-01T14:45:37Z
в метку времени вместо даты,df = df.withColumn("CreationDate",df['CreationDate'].cast(TimestampType()))
работает хорошо ... (Спарк 2.2.0)В принятом обновлении ответа вы не видите пример для
to_date
функции, поэтому другое решение, использующее его, будет:from pyspark.sql import functions as F df = df.withColumn( 'new_date', F.to_date( F.unix_timestamp('STRINGCOLUMN', 'MM-dd-yyyy').cast('timestamp')))
источник
возможно, не так много ответов, поэтому я хочу поделиться своим кодом, который может кому-то помочь
from pyspark.sql import SparkSession from pyspark.sql.functions import to_date spark = SparkSession.builder.appName("Python Spark SQL basic example")\ .config("spark.some.config.option", "some-value").getOrCreate() df = spark.createDataFrame([('2019-06-22',)], ['t']) df1 = df.select(to_date(df.t, 'yyyy-MM-dd').alias('dt')) print df1 print df1.show()
вывод
DataFrame[dt: date] +----------+ | dt| +----------+ |2019-06-22| +----------+
приведенный выше код для преобразования в дату, если вы хотите преобразовать дату и время, используйте to_timestamp. дайте мне знать, если у вас есть сомнения.
источник
Попробуй это:
df = spark.createDataFrame([('2018-07-27 10:30:00',)], ['Date_col']) df.select(from_unixtime(unix_timestamp(df.Date_col, 'yyyy-MM-dd HH:mm:ss')).alias('dt_col')) df.show() +-------------------+ | Date_col| +-------------------+ |2018-07-27 10:30:00| +-------------------+
источник