При работе с PySpark очень важно правильно обрабатывать часовые пояса, особенно при работе с глобальными наборами данных или выполнении операций, основанных на времени. В этой статье блога мы рассмотрим различные способы установки часового пояса по времени Нью-Йорка (UTC-4) или UTC. Мы предоставим примеры кода для демонстрации каждого подхода, что позволит вам эффективно управлять часовыми поясами в ваших проектах PySpark.

Метод 1: установка часового пояса по времени Нью-Йорка (UTC-4)

Чтобы установить часовой пояс по нью-йоркскому времени (UTC-4) в PySpark, вы можете использовать функцию pyspark.sql.functions.from_utc_timestamp(). Вот пример:

from pyspark.sql import SparkSession
from pyspark.sql.functions import from_utc_timestamp
# Create a SparkSession
spark = SparkSession.builder.getOrCreate()
# Set the timezone to New York Time (UTC-4)
spark.conf.set("spark.sql.session.timeZone", "America/New_York")
# Example usage of timezone setting
df = spark.createDataFrame([(1, "2024-02-23 10:30:00")], ["id", "timestamp"])
df = df.withColumn("new_york_time", from_utc_timestamp(df.timestamp, "America/New_York"))
df.show()

В приведенном выше коде мы сначала создаем SparkSession, а затем устанавливаем часовой пояс с помощью spark.conf.set(). Мы указываем часовой пояс «Америка/Нью_Йорк», чтобы установить время Нью-Йорка (UTC-4). Затем мы используем функцию from_utc_timestamp()для преобразования столбца отметки времени во время Нью-Йорка.

Метод 2: установка часового пояса в формате UTC

Если вы предпочитаете установить часовой пояс UTC, вы можете использовать функцию pyspark.sql.functions.from_utc_timestamp()вместе с часовым поясом UTC. Вот пример:

from pyspark.sql import SparkSession
from pyspark.sql.functions import from_utc_timestamp
# Create a SparkSession
spark = SparkSession.builder.getOrCreate()
# Set the timezone to UTC
spark.conf.set("spark.sql.session.timeZone", "UTC")
# Example usage of timezone setting
df = spark.createDataFrame([(1, "2024-02-23 10:30:00")], ["id", "timestamp"])
df = df.withColumn("utc_time", from_utc_timestamp(df.timestamp, "UTC"))
df.show()

В этом фрагменте кода мы устанавливаем часовой пояс в формате UTC, указав «UTC» в spark.conf.set(). Затем функция from_utc_timestamp()используется для преобразования столбца метки времени в формат UTC.

Управление часовыми поясами имеет решающее значение при работе с PySpark, особенно в сценариях, связанных с глобальными наборами данных или операциями, основанными на времени. В этой статье мы рассмотрели два метода установки часового пояса в PySpark: один для нью-йоркского времени (UTC-4), а другой для UTC. Используя предоставленные примеры кода, вы можете легко управлять часовыми поясами и обеспечивать точные вычисления, связанные со временем, в ваших проектах PySpark.